[論文レビュー] FocalFormer3D : Focusing on Hard Instance for 3D Object Detection

Yilun Chen, Zhiding Yu+5 more|arXiv (Cornell University)|Aug 8, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

FocalFormer3D は、ハードな検出が難しい 3D オブジェクト（誤検出のないもの）を段階的に特定し、容易な陽性を抑制することで焦点を当てる、マルチステージフレームワークであるハードインスタンスプロービング（HIP）を提案する。ボックスレベルの可変トランスフォーマー・デコーダーを用いて予測を精緻化することで、nuScenes LiDAR検出で 70.5 mAP および 73.9 NDS を達成し、検出およびトラッキングの両リーダーボードで1位を獲得した。

ABSTRACT

False negatives (FN) in 3D object detection, {\em e.g.}, missing predictions of pedestrians, vehicles, or other obstacles, can lead to potentially dangerous situations in autonomous driving. While being fatal, this issue is understudied in many current 3D detection methods. In this work, we propose Hard Instance Probing (HIP), a general pipeline that identifies extit{FN} in a multi-stage manner and guides the models to focus on excavating difficult instances. For 3D object detection, we instantiate this method as FocalFormer3D, a simple yet effective detector that excels at excavating difficult objects and improving prediction recall. FocalFormer3D features a multi-stage query generation to discover hard objects and a box-level transformer decoder to efficiently distinguish objects from massive object candidates. Experimental results on the nuScenes and Waymo datasets validate the superior performance of FocalFormer3D. The advantage leads to strong performance on both detection and tracking, in both LiDAR and multi-modal settings. Notably, FocalFormer3D achieves a 70.5 mAP and 73.9 NDS on nuScenes detection benchmark, while the nuScenes tracking benchmark shows 72.1 AMOTA, both ranking 1st place on the nuScenes LiDAR leaderboard. Our code is available at \url{https://github.com/NVlabs/FocalFormer3D}.

研究の動機と目的

• 自動運転における 3D オブジェクト検出における誤検出（偽陰性）の問題に、重要であるが未だ十分に研究されていない課題に取り組むこと。
• 複数段階にわたるプロセスを通じて、明示的にハードインスタンス（すなわち、見逃された真のラベルオブジェクト）を特定し、焦点を当てる。
• 既存の 3D ディテクタに最小限のオーバーヘッドで統合可能な汎用的なパイプライン、ハードインスタンスプロービング（HIP）を開発すること。
• ハードサンプルの段階的精緻化を通じて、LiDAR およびマルチモodal環境の両方で検出およびトラッキング性能を向上させること。
• 遮蔽やごみによるクラッターの影響で、歩行者や車両を検出しない致命的な誤検出エラーを低減すること。

提案手法

• ハードインスタンスプロービング（HIP）は、各段階が直前の段階で見逃された偽陰性に焦点を当てるマルチステージ予測パイプラインを用いる。容易な陽性を事前に予測済みのものとして抑制する。
• 各段階でクラスに依存する蓄積陽性マスクを維持し、容易な陽性サンプルを除外することで、モデルがハードインスタンスに集中できるようにする。
• 複数段階のヒートマップ予測が生成され、組み合わされて初期のオブジェクト候補が形成され、各段階で以前に見逃されたオブジェクトの検出が精緻化される。
• ボックスレベルの可変トランスフォーマー・デコーダーが、RoIAlign 特徴を用いて繰り返しバウンディングボックスを精緻化し、文脈に配慮したクエリ相互作用と局所化精度の向上を実現する。
• 最終的なオブジェクト候補に対して再スコアリング戦略を適用し、ヒートマップスコアの順位付けだけに依存するのではなく、選択の正確性を向上させる。
• 本手法は、既存の BEV ベースのディテクタに軽量に拡張可能な FocalFormer3D として実装され、計算オーバーヘッドは最小限に抑えられる。

実験結果

リサーチクエスチョン

• RQ1 ハードインスタンスに焦点を当てるマルチステージ検出パイプラインは、3D オブジェクト検出における偽陰性を効果的に低減できるか？
• RQ2 見逃された真のラベルオブジェクトに対する段階的プロービングは、平均リCALLおよび検出性能をどのように向上させるか？
• RQ3 ボックスレベルの精緻化と再スコアリングは、ヒートマップから生成されたオブジェクト候補の品質にどのような影響を与えるか？
• RQ4 提案された HIP フレームワークは、LiDAR やマルチモーダル環境など、さまざまなセンサーモダリティでどのように性能を発揮するか？
• RQ5 本手法は、遮蔽やごみの多い背景といった困難な状況でもどれほど一般化可能か？

主な発見

• FocalFormer3D は、nuScenes 3D LiDAR 検出ベンチマークで 70.5 mAP および 73.9 NDS を達成し、公式リーダーボードで1位を獲得した。
• nuScenes トラックイングベンチマークでは 72.1 AMOTA を達成し、これも1位であり、トラッキングタスクへの強い一般化性能を示した。
• アブレーションスタディの結果、可変アテンションとボックスプーリングを備えた完全なボックスレベル精緻化モジュールは、ベースラインに比べて mAP を +1.4、NDS を +1.2 向上させた。
• プーリングベースのマスキング戦略が最も高いパフォーマンス向上（+1.2 mAP、+0.7 NDS）を示し、真のラベルをマスクするリスクが低いことから、ボックスベースのマスキングを上回った。
• 再スコアリングのみで 66.1 mAP を達成したため、初期のヒートマップスコアだけでは候補の順位付けが不十分であることが示され、2段階目の精緻化の必要性が裏付けられた。
• レイテンシ分析では、FocalFormer3D は TransFusion-L に比べてわずか 16ms のオーバーヘッド（合計 109ms）を追加しており、バックボーンが主なコストを占めているため、リアルタイムデプロイに適していることがわかった。