[論文レビュー] TiG-BEV: Multi-view BEV 3D Object Detection via Target Inner-Geometry Learning

Peixiang Huang, Li Liu+5 more|arXiv (Cornell University)|Dec 28, 2022

Advanced Neural Network Applications被引用数 16

ひとこと要約

本稿では、LiDARモodalitから得られるターゲットの内部幾何構造を学習することで、カメラベースのBEV検出器を向上させる、新しいフレームワークであるTiG-BEVを提案する。内側の深度監督と、チャネル間およびキーポイント間の類似性を用いた内側特徴BEV distillationを導入し、nuScenes上でのBEVDepthでは+2.3% NDSおよび+2.4% mAP、BEVDetではCBGSなし条件下で+9.1% NDSおよび+10.3% mAPの向上を達成した。

ABSTRACT

To achieve accurate and low-cost 3D object detection, existing methods propose to benefit camera-based multi-view detectors with spatial cues provided by the LiDAR modality, e.g., dense depth supervision and bird-eye-view (BEV) feature distillation. However, they directly conduct point-to-point mimicking from LiDAR to camera, which neglects the inner-geometry of foreground targets and suffers from the modal gap between 2D-3D features. In this paper, we propose the learning scheme of Target Inner-Geometry from the LiDAR modality into camera-based BEV detectors for both dense depth and BEV features, termed as TiG-BEV. First, we introduce an inner-depth supervision module to learn the low-level relative depth relations between different foreground pixels. This enables the camera-based detector to better understand the object-wise spatial structures. Second, we design an inner-feature BEV distillation module to imitate the high-level semantics of different keypoints within foreground targets. To further alleviate the BEV feature gap between two modalities, we adopt both inter-channel and inter-keypoint distillation for feature-similarity modeling. With our target inner-geometry distillation, TiG-BEV can effectively boost BEVDepth by +2.3% NDS and +2.4% mAP, along with BEVDet by +9.1% NDS and +10.3% mAP on nuScenes val set. Code will be available at https://github.com/ADLab3Ds/TiG-BEV.

研究の動機と目的

• LiDARの空間的ヒントを活用することで、カメラベースとLiDARベースの3D検出器の性能差を是正すること。
• 従来の手法が対象固有の内部幾何構造をモデル化しないまま、直接的かつ厳密な特徴の模倣を実行するという限界を克服すること。
• 前景対象内の相対的深度および意味的関係を学習することで、深度マップの品質とBEV特徴の整合性を向上させること。
• 構造的かつ幾何に配慮したdistillationによって、カメラとLiDARのBEV特徴間のモダリティギャップを低減すること。
• 異なるバックボーンアーキテクチャおよび時系列設定において一貫した性能向上を実現すること。

提案手法

• 各前景対象内での適応的基準点から相対的深度値を計算する内側の深度監督モジュールを導入し、局所的な幾何的理解を向上させる。
• 真値との深度誤差が最小となる基準点を対象に適応的に選択することで、多様な対象形状にわたる頑健性を向上させる。
• チャネル間およびキーポイント間の類似性をモデル化することで、高レベルの意味的特徴を転送する内側特徴BEV distillationモジュールを提案する。
• チャネル単位の一致を強制しないまま、チャネル間およびキーポイント間の両方のdistillationを統合することで、カメラとLiDARのBEV表現間のモダリティギャップを低減する。
• BEVDepthやBEVDetのような学生モデルにフレームワークを適用し、LiDARの監視のもとで内側幾何構造学習を訓練段階で統合する。
• 事前に訓練されたLiDARベースの検出器がカメラベース検出器の深度およびBEV特徴学習を監視する教師-生徒フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 前景対象内での相対的深度関係をモデル化することで、カメラベースBEV検出器の3D物体検出精度が向上するか？
• RQ2 BEV空間における内側特徴distillationを通じて高レベルの意味的構造を学習することで、カメラとLiDAR特徴間のモダリティギャップが低減するか？
• RQ3 固定またはペairwise基準点戦略と比較して、内側深度監視における適応的基準点選択はどの程度有効か？
• RQ4 チャネル間およびキーポイント間のdistillationコンponentは、それぞれ独立して、および共同で性能向上にどの程度寄与するか？
• RQ5 提案された内側幾何構造学習スキームは、異なる2Dバックボーンおよび時系列設定に一般化可能か？

主な発見

• BEVDepthは、TiG-BEVを統合することで、nuScenesのバリデーションセットで+2.3% NDSおよび+2.4% mAPを達成し、顕著な性能向上を示した。
• BEVDet（CBGSなし）では、+9.1% NDSおよび+10.3% mAPの顕著な向上を達成し、困難な設定下でも本手法の有効性を示した。
• 内側の深度監視のみでmAPが+1.0%、NDSが+0.9%向上し、深度品質および局所化への直接的影響を示した。
• 内側特徴BEV distillationのみでmAPが+3.0%、NDSが+2.3%向上し、高レベルの意味的転送による強力な寄与を示した。
• 両コンponentを組み合わせることで、mAPが+3.7%、NDSが+2.7%向上し、それらが補完的であり、相乗効果をもたらすことを確認した。
• 本手法は、異なる2Dバックボーンおよび時系列設定においても一般化可能であり、mAPの向上は+3.4%から+5.8%、NDSは+2.5%から+5.0%の範囲で達成された。