[論文レビュー] Voxel Transformer for 3D Object Detection

Jiageng Mao, Yujing Xue+6 more|arXiv (Cornell University)|Sep 6, 2021

Advanced Neural Network Applications参考文献 50被引用数 4

ひとこと要約

本論文は、スパースなボクセル上で自己注意機構を活用して長距離のコンテキストを捉えることで、従来の3次元畳み込みネットワークに代わるスパースで効率的なトランスフォーマーベースのバックボーンであるVoxel Transformer (VoTr) を提案する。ローカル注意と拡張注意メカニズム、および高速ボクセルクエリを導入することで、KITTIおよびWaymo Openデータセットで最先端の性能を達成し、計算遅延がわずか20ms増加する一方でモデルパラメータを削減し、高い推論速度を維持する。

ABSTRACT

We present Voxel Transformer (VoTr), a novel and effective voxel-based Transformer backbone for 3D object detection from point clouds. Conventional 3D convolutional backbones in voxel-based 3D detectors cannot efficiently capture large context information, which is crucial for object recognition and localization, owing to the limited receptive fields. In this paper, we resolve the problem by introducing a Transformer-based architecture that enables long-range relationships between voxels by self-attention. Given the fact that non-empty voxels are naturally sparse but numerous, directly applying standard Transformer on voxels is non-trivial. To this end, we propose the sparse voxel module and the submanifold voxel module, which can operate on the empty and non-empty voxel positions effectively. To further enlarge the attention range while maintaining comparable computational overhead to the convolutional counterparts, we propose two attention mechanisms for multi-head attention in those two modules: Local Attention and Dilated Attention, and we further propose Fast Voxel Query to accelerate the querying process in multi-head attention. VoTr contains a series of sparse and submanifold voxel modules and can be applied in most voxel-based detectors. Our proposed VoTr shows consistent improvement over the convolutional baselines while maintaining computational efficiency on the KITTI dataset and the Waymo Open dataset.

研究の動機と目的

• ボクセルベースの検出器における3次元畳み込みバックボーンの受容 field の制限が、スパースまたは不完全な3次元オブジェクトの検出を妨げる問題に対処すること。
• 計算コストが著しく増大するおそれがあるにもかかわらず、点群データにおけるスパースで非一様に分布するボクセルに対して、効率的な自己注意を実現すること。
• 既存のボクセルベースの3次元検出器にスムーズに統合可能な汎用的なトランスフォーマーベースのバックボーンを設計すること。
• 3次元畳み込みネットワークと比較して、顕著な検出精度の向上を達成しながらも、計算効率を維持し、低遅延を実現すること。

提案手法

• 空のボクセル位置と非空のボクセル位置のそれぞれに対して、効率的に動作するスパースボクセルモジュールとサブマニフォールドボクセルモジュールを提案し、スパースな注意操作を可能にする。
• 各ボクセルの有効受容 field を拡大しながら、1つのクエリが注目するボクセル数を制限するため、ローカル注意と拡張注意メカニズムを導入する。
• スパーステンソル演算を用いて関連するボクセル特徴を効率的に取得することで、マルチヘッド注意の高速化を実現する高速ボクセルクエリを採用する。
• VoTrモジュール内で線形投影層を用いることでモデルパラメータを最小限に抑え、3次元畳み込みバックボーンと比較して0.5Mのパラメータ削減を達成する。
• 動的注意重みを用いたマルチヘッド自己注意を適用し、各ボクセルが広大な空間範囲にわたって文脈的に関連する遠方のボクセルに注目できるようにする。
• SECOND や PV-RCNN などの既存のボクセルベース検出器に容易に統合可能なプラグアンドプレイなアーキテクチャを設計し、一貫した性能向上を実現する。

Figure 2: The overall architecture of Voxel Transformer (VoTr). VoTr is a Transformer-based 3D backbone that can be applied in most voxel-based 3D detection frameworks. It contains a series of sparse and submanifold voxel modules. Submanifold voxel modules perform multi-head self-attention strictly

実験結果

リサーチクエスチョン

• RQ1 3次元畳み込みが受容 field の制限により失敗するスパースな3次元ボクセルグリッドにおいて、トランスフォーマーベースのバックボーンが長距離の空間的依存関係を効果的に捉えることができるか？
• RQ2 標準的なトランスフォーマーが密なグリッドに適用される場合に比べて、計算コストが著しく増大するおそれがある中で、スパースなボクセルデータに自己注意を効率的に適用する方法は何か？
• RQ3 ローカル注意と拡張注意のいずれの注意メカニズムが、受容 field の拡大と計算効率の両立において最適なバランスを実現するか？
• RQ4 自己注意を組み込むことで、とくに遠距離や小規模オブジェクト検出のような困難な状況下で、長距離およびスパースな3次元オブジェクトの検出性能がどの程度向上するか？
• RQ5 3次元畳み込みバックボーンと比較して、高い推論速度と少ないパラメータ数を維持しながら、性能を上回るトランスフォーマーベースのバックボーンを実現できるか？

主な発見

• KITTIデータセットにおいて、VoTr-SSDは3次元畳み込みベースラインと比較して、中程度の車両mAPを2.29%、厳しく難しい車両mAPを1.79%向上させる。
• Waymo Openデータセットでは、VoTr-SSDはSECONDと比較して1.05%のmAP向上を達成し、PV-RCNNと比較しては3.26%の向上を示す。特に50m〜無限距離範囲での遠距離検出においては最大4.83%の向上を記録する。
• ローカル注意のみではなく、拡張注意を用いることで、KITTI検証セットでmAPが2.79%向上し、文脈の捉え方の拡張効果が明確に示された。
• VoTrモジュールにドロップアウト層を追加すると、ドロップアウト率が0.3の場合にmAPが8.52%低下し、このアーキテクチャではドロップアウトが有害であることが示された。
• 3次元畳み込みバックボーンと比較して、パラメータ効率の高い線形投影により、モデルパラメータを0.5M削減し、単一段階検出器では14.65 Hzという高い推論速度を維持した。
• 可視化により、ボクセルが動的に広大な空間範囲にわたって文脈的に関連する遠方のボクセルに注目していることが確認され、長距離依存関係をモデル化できる能力が裏付けられた。

Figure 3: Illustration of Local and Dilated Attention. We note that this is a 2D example and can be easily extended to 3D cases. For each query (red), Local Attention (yellow) focuses on the local region while Dilated Attention (green) searches the whole space with gradually enlarged steps. The non-