[論文レビュー] DETR4D: Direct Multi-View 3D Object Detection with Sparse Attention

Zhipeng Luo, Changqing Zhou+2 more|arXiv (Cornell University)|Dec 15, 2022

Advanced Neural Network Applications被引用数 10

ひとこと要約

DETR4Dは、スパarsity attentionと直接的な特徴クエリを用いて、幾何的ヒントの活用を向上させ、視点間の情報損失を低減するクエリベースのTransformerベースのフレームワークを提案する。マルチビュー3Dオブジェクト検出に適した。本研究では、新規の投影型クロスアテンションメカニズム、ヒートマップ誘導型クエリ初期化、ハイブリッド時空間モデリング戦略を導入し、nuScenes上での最先端の効率性と競争力ある性能を達成した。NDSは50.5%、mAPは42.0%を記録した。

ABSTRACT

3D object detection with surround-view images is an essential task for autonomous driving. In this work, we propose DETR4D, a Transformer-based framework that explores sparse attention and direct feature query for 3D object detection in multi-view images. We design a novel projective cross-attention mechanism for query-image interaction to address the limitations of existing methods in terms of geometric cue exploitation and information loss for cross-view objects. In addition, we introduce a heatmap generation technique that bridges 3D and 2D spaces efficiently via query initialization. Furthermore, unlike the common practice of fusing intermediate spatial features for temporal aggregation, we provide a new perspective by introducing a novel hybrid approach that performs cross-frame fusion over past object queries and image features, enabling efficient and robust modeling of temporal information. Extensive experiments on the nuScenes dataset demonstrate the effectiveness and efficiency of the proposed DETR4D.

研究の動機と目的

• 深度監視なしにマルチビュー画像からの3Dオブジェクト検出を実現する挑戦に応えること。深度の曖昧さと視点間の情報損失が性能を制限するため。
• 複数のカメラ視点にわたるオブジェクトに対して、幾何的ヒントの活用を向上させ、情報損失を低減すること。
• 中間特徴マップを経由せずに、過去のオブジェクトクエリと画像特徴を融合することで、カメラオンリー3D検出における効率的な時空間モデリングを可能にすること。
• 既存のクエリベース手法と比較して、高い推論効率を維持しながら、競争力ある検出精度を達成すること。

提案手法

• 3Dサンプリング位置を事前に生成し、それらを2D画像に投影する新しい投影型クロスアテンションメカニズムを導入。これにより幾何的整合性が向上し、情報損失が低減される。
• ボリュメトリックグリッドサンプリングを用いたボリューム特徴生成技術を採用。これにより、オブジェクト性の事前知識と文脈的ヒントが得られ、クエリ初期化に寄与する。
• エゴモーションアライメントを用いて、過去のオブジェクトクエリと過去の画像特徴の両方から情報を集約するハイブリッド時空間モデリング戦略を提案。
• スパarsityアテンションを用いて、投影された3Dクエリ位置で画像特徴を効率的に集約。密なサンプリングを回避し、計算コストを低減。
• エゴモーションアライメントを適用し、フレーム間のエゴモーション補償により時空間モデリングの安定性を向上。
• 中間3D特徴生成をスキップし、直接クエリから画像特徴に集約するパイプラインを採用。これにより、エンドツーエンド学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 クエリの投影プロセスを再考することで、クエリベースの3D検出フレームワークが、マルチビュー3D検出における幾何的整合性を向上させ、情報損失を低減できるか？
• RQ2 明示的な深度推定や中間3D特徴マップを経由せずに、2D画像特徴を効果的に3D空間に橋渡しできるか？
• RQ3 過去のクエリと画像特徴を融合するハイブリッド時空間モデリング戦略は、最小限の計算コストで検出のロバストネスを向上させられるか？
• RQ4 エゴモーションアライメントは、カメラベース3D検出における時空間モデリング性能を顕著に向上させるか？

主な発見

• DETR4DはnuScenesデータセットで50.5%のNDSおよび42.0%のmAPを達成。単一フレームベースラインを上回り、高い効率性を示した。
• 提案されたプロジェクト型クロスアテンションメカニズムにより、標準的な空間クロスアテンションを用いたベースライン手法と比較してNDSが3.9%向上。幾何的ヒントの活用が向上したため。
• ハイブリッド時空間モデリング戦略（過去のクエリと画像特徴の両方を統合）が最良の性能（NDS: 50.5%）を達成。両方のコンポonentが補完的かつ不可欠であることが示された。
• エゴモーションアライメントによりNDSが3.9ポイント向上。時空間モデリングの安定化において、その重要性が裏付けられた。
• フレーム間隔が1.5秒で性能がピークに達し、NDSは50.5%、mAPは42.0%を記録。これは特徴の明確な差異とフレーム間の関連付けの最適性を示している。
• すべてのバックボーン構成において、BEVFormerよりも高い推論速度を達成。特にResNet-50のような小型バックボーンでは顕著な速度優位性を示した。