[論文レビュー] Geometric-aware Pretraining for Vision-centric 3D Object Detection

Linyan Huang, Huijie Wang+5 more|arXiv (Cornell University)|Apr 6, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、LiDARから得られるBEV表現を用いて画像バックボーンとビュー変換モジュールを共同で事前学習することで、ビジュアル中心の3Dオブジェクト検出を向上させる幾何的注意を備えた事前学習フレームワーク、GAPretrainを提案する。統一されたビーバイュービュー（BEV）空間を活用し、LiDARDrivenマスク生成とターゲットに特化した幾何的相関モジュールを導入することで、モダリティの不整合を低減し、空間特徴の学習を向上させ、BEVFormerを用いてnuScenesで46.2 mAPおよび55.5 NDSを達成。ベースライン比でそれぞれ2.7ポイントおよび2.1ポイントの向上を達成した。

ABSTRACT

Multi-camera 3D object detection for autonomous driving is a challenging problem that has garnered notable attention from both academia and industry. An obstacle encountered in vision-based techniques involves the precise extraction of geometry-conscious features from RGB images. Recent approaches have utilized geometric-aware image backbones pretrained on depth-relevant tasks to acquire spatial information. However, these approaches overlook the critical aspect of view transformation, resulting in inadequate performance due to the misalignment of spatial knowledge between the image backbone and view transformation. To address this issue, we propose a novel geometric-aware pretraining framework called GAPretrain. Our approach incorporates spatial and structural cues to camera networks by employing the geometric-rich modality as guidance during the pretraining phase. The transference of modal-specific attributes across different modalities is non-trivial, but we bridge this gap by using a unified bird's-eye-view (BEV) representation and structural hints derived from LiDAR point clouds to facilitate the pretraining process. GAPretrain serves as a plug-and-play solution that can be flexibly applied to multiple state-of-the-art detectors. Our experiments demonstrate the effectiveness and generalization ability of the proposed method. We achieve 46.2 mAP and 55.5 NDS on the nuScenes val set using the BEVFormer method, with a gain of 2.7 and 2.1 points, respectively. We also conduct experiments on various image backbones and view transformations to validate the efficacy of our approach. Code will be released at https://github.com/OpenDriveLab/BEVPerception-Survey-Recipe.

研究の動機と目的

• マルチカメラ3Dオブジェクト検出における画像バックボーンとビュー変換モジュール間の空間的知識の不整合を解消すること。
• 統一されたBEV表現を活用することで、LiDARからカメラベースのモデルへの幾何的知識の転送を向上させること。
• 事前学習中にスパarsなLiDARポイントクラウドと密度の高い画像特徴の間のドメインギャップを低減すること。
• アーキテクチャの変更なしに最先端のBEVベースの検出器に即座に統合可能なプラグアンドプレイ統合を可能にすること。
• 大規模なラベルなしカメラおよびLiDARデータを活用して効果的な事前学習を実現すること。

提案手法

• 本手法は、LiDARポイントクラウドを幾何的監視として用い、統一されたBEV空間内で画像バックボーンとビュー変換の事前学習をガイドする、事前学習蒸留パラダイムを導入する。
• 処理済みのLiDAR注目マップを用いて顕著な領域を強調し、ノイズの多い背景領域を抑制することで、画像特徴におけるLiDARガイドドマスク生成モジュールを採用する。
• ターゲットに特化した幾何的相関モジュールは、BEV空間における検出オブジェクト間の空間的関係をモデル化することで、クロスインスタンスの幾何的整合性を向上させる。
• BEV表現における量子化誤差を低減するため、(3,3)カーネルを用いたガウス操作を適用する。
• 事前学習損失は、画像モデルのBEV特徴とLiDARモデルのBEV特徴間のL2距離に基づく。標準的な知識蒸留で用いられる複雑なKLダイバージェンスを避ける。
• トレーニングの安定化と特徴の崩壊を防ぐために、バッチ正規化統計を全データセットの平均および分散で固定することで特徴ホワイトニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 LiDARから得られる幾何的事前知識を用いた事前学習は、BEVベースのフレームワークにおけるカメラオンリーモデルの3Dオブジェクト検出性能を向上させることができるか？
• RQ2 画像バックボーンとビュー変換モジュールの共同事前学習は、空間特徴の整合性と検出精度にどのように影響を与えるか？
• RQ3 LiDARガイドドの注目マスクと幾何的相関モジュールは、画像特徴とLiDAR特徴の間のモダリティギャップをどの程度低減するか？
• RQ4 より複雑な知識蒸留目的（例：KLダイバージェンス）と比較して、事前学習に単純なL2損失を使用した場合、クロスモダリティ設定で性能が優れているか？
• RQ5 提案手法は、異なる画像バックボーンおよびビュー変換アーキテクチャに一般化可能か？

主な発見

• BEVFormerを用いてnuScenesの検証セットで46.2 mAPおよび55.5 NDSを達成し、ベースライン比でそれぞれ2.7 mAPおよび2.1 NDSの向上を示した。
• マスク生成モジュール単体でもmAPが2.4%向上し、mATE（オブジェクト局在誤差）が5.9%低減され、より優れた特徴精錬が実現した。
• ターゲットに特化した幾何的相関モジュールを追加することで、NDSにさらに0.4%の向上が得られ、インスタンス間の空間的整合性の向上が有効であることが示された。
• 注目マップスケーリングにおける正則化に対数関数を用いることで、他の関数と比較してmAPが3.1%向上し、特徴キャリブレーションにおける重要性が浮き彫りになった。
• LiDARモデルからのヘッドインheritanceにより、mAPが0.6%向上し、NDSが2.3%向上した。これは、より良い検出ヘッド初期化が最終的な性能向上に寄与することを示している。
• アブレーションスタディにより、L2損失がKLダイバージェンスよりも事前学習に有効であり、固定されたバッチ正規化統計がトレーニングの安定性と性能を顕著に向上させることを確認した。