[論文レビュー] Unifying Voxel-based Representation with Transformer for 3D Object Detection

Yanwei Li, Yilun Chen+4 more|arXiv (Cornell University)|Jun 1, 2022

Advanced Neural Network Applications被引用数 127

ひとこと要約

UVTR は LiDAR とカメラのマルチモダリティ入力を共通の3D体素空間で統合し、オブジェクトレベルの検出と追跡のためにトランスフォーマーデコーダを使用し、単一およびマルチモダリティ設定で nuScenes の最先端結果を達成しています。

ABSTRACT

In this work, we present a unified framework for multi-modality 3D object detection, named UVTR. The proposed method aims to unify multi-modality representations in the voxel space for accurate and robust single- or cross-modality 3D detection. To this end, the modality-specific space is first designed to represent different inputs in the voxel feature space. Different from previous work, our approach preserves the voxel space without height compression to alleviate semantic ambiguity and enable spatial connections. To make full use of the inputs from different sensors, the cross-modality interaction is then proposed, including knowledge transfer and modality fusion. In this way, geometry-aware expressions in point clouds and context-rich features in images are well utilized for better performance and robustness. The transformer decoder is applied to efficiently sample features from the unified space with learnable positions, which facilitates object-level interactions. In general, UVTR presents an early attempt to represent different modalities in a unified framework. It surpasses previous work in single- or multi-modality entries. The proposed method achieves leading performance in the nuScenes test set for both object detection and the following object tracking task. Code is made publicly available at https://github.com/dvlab-research/UVTR.

研究の動機と目的

• LiDARとカメラデータのモダリティ間のギャップを埋めるために、統一されたボクセルベース表現の採用を動機づける。
• semantic ambiguityを減らすために、高さの圧縮を行わず3Dボクセル空間を保持する。
• 統一空間内でのクロスモダリティ知識伝達と特徴融合を可能にする。
• 効率的なオブジェクトレベルの相互作用と予測のためにトランスフォーマーデコーダを活用する。
• nuScenesでの単一およびマルチモダリティの3D検出と追跡において強力な性能向上を示す。

提案手法

• 推定深度分布と幾何制約に基づいて画像特徴をサンプリングし、V_I を形成することで画像をボクセル空間で表現する。
• マルチスケールのボクセルバックボーンを用いて点群をボクセル空間で表現し、V_P を形成する。
• 各モダリティ固有のボクセル空間内で空間相互作用を可能にするボクセルエンコーダを適用する。
• 統一ボクセル空間 V_U における知識伝達（教師-生徒）と特徴融合を通じてクロスモダリティ相互作用を可能にする。
• 学習可能な3D参照点で特徴をサンプリングする変形可能なトランスフォーマーデコーダを用いてオブジェクトクエリを生成し、その後反復的なボックスのリファインメントを行う。
• 検出のためのハンガリー集合対集合損失で最適化し、クロスモダリティ知識伝達のための任意の L_KT 損失を追加可能。

実験結果

リサーチクエスチョン

• RQ1 統一されたボクセルベース表現は、LiDARとカメラデータを3D物体検出のために効果的に融合できるのか。
• RQ2 高さの圧縮を行わず完全な3Dボクセル空間を保持することは、3D 推論を改善し意味的あいまいさを減らすのか。
• RQ3 クロスモダリティ知識伝達とモダリティ融合は、単一およびマルチモダリティ入力における検出の頑健性と精度にどう影響するのか。
• RQ4 統一ボクセル空間で検出と追跡を行う際、マルチフレーム入力はどんな利得をもたらすのか。

主な発見

• UVTR は nuScenes の検証/テストで LiDAR ベースの検出において 69.7% NDS と 63.9% mAP を達成し、マルチモダリティ入力では nuScenes テストで 71.1% NDS を達成。
• カメラベースの UVTR-C は複数カメラスイープで nuScenes テストで 55.1% NDS、UVTR-M（マルチモダリティ）は nuScenes テストで 71.1% NDS と 67.1% mAP。
• 知識伝達とモダリティ融合は設定を問わず一貫した改善をもたらし、マルチモダリティ指示を使用すると最大で 2.6% NDS および 1.8% mAP の向上を含む。
• マルチフレーム入力は性能を大幅に向上させ、スイープを増やすと LiDAR で最大 18.1% NDS、カメラで 5% 以上の NDS 向上。
• UVTR は単純な貪欲トラッカーを用いた追跡性能が高く、例として UVTR-M で nuScenes の LiDAR+Camera に対して 70.1 AMOTA。
• 本手法はカメラ視界の低下やセンサ較正ノイズに対して特にマルチモダリティ設定で頑健性を維持する。