[論文レビュー] BEVDistill: Cross-Modal BEV Distillation for Multi-View 3D Object Detection

Zehui Chen, Zhenyu Li+4 more|arXiv (Cornell University)|Nov 17, 2022

Advanced Neural Network Applications被引用数 28

ひとこと要約

BEVDistillはBEV空間で画像とLiDAR特徴を統合し、LiDARベースの教師からカメラベースの生徒へ知識を蒸留することで、追加の推論コストをかけずにマルチビュー3D検出を改善します。

ABSTRACT

3D object detection from multiple image views is a fundamental and challenging task for visual scene understanding. Owing to its low cost and high efficiency, multi-view 3D object detection has demonstrated promising application prospects. However, accurately detecting objects through perspective views is extremely difficult due to the lack of depth information. Current approaches tend to adopt heavy backbones for image encoders, making them inapplicable for real-world deployment. Different from the images, LiDAR points are superior in providing spatial cues, resulting in highly precise localization. In this paper, we explore the incorporation of LiDAR-based detectors for multi-view 3D object detection. Instead of directly training a depth prediction network, we unify the image and LiDAR features in the Bird-Eye-View (BEV) space and adaptively transfer knowledge across non-homogenous representations in a teacher-student paradigm. To this end, we propose extbf{BEVDistill}, a cross-modal BEV knowledge distillation (KD) framework for multi-view 3D object detection. Extensive experiments demonstrate that the proposed method outperforms current KD approaches on a highly-competitive baseline, BEVFormer, without introducing any extra cost in the inference phase. Notably, our best model achieves 59.4 NDS on the nuScenes test leaderboard, achieving new state-of-the-art in comparison with various image-based detectors. Code will be available at https://github.com/zehuichen123/BEVDistill.

研究の動機と目的

• LiDARとカメラのモダリティ間でのクロスモーダル知識伝達の課題を動機づけ、マルチビュー3D物体検出のための解決策を提案する。
• BEVDistillを提案し、BEV空間における非均質な特徴を整合させ、適応的な密集蒸留と疎密蒸留を可能にする。
• クロスモーダルBEV蒸留が推論コストを増加させずにカメラベースの検出器を改善することを示す。
• 包括的なアブレーションと比較を通じてnuScenesでの最先端性能を実証する。

提案手法

• 蒸留のためのモダリティを整合させるため、Bird-Eye-View (BEV) 空間で画像とLiDAR特徴を統合する。
• LiDARベースの教師（Object-DGCNNベース）とカメラベースの生徒（BEVFormer）を用いたteacher-studentフレームワークを採用する。
• Dense feature distillation: BEVで前景ガイド付きソフトマスクを適用し、トランスフォーマーエンコーダの後で密な特徴模倣を監督する。
• Sparse instance distillation: 教師と生徒の予測間に品質ガイド付き重み付けと批評家gを用いた相互情報の最大化によって集合間対応を確立する。
• 末端直前の層表現間の相互情報を最大化するため、ニューラルクリティックとInfoNCE損失を代理目的関数として用いる。
• 密集蒸留成分と疎蒸留成分および前景マスク戦略の有効性を検証するアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 非均質な表現にもかかわらず、LiDARとカメラ検出器間のクロスモーダル知識蒸留をBEV空間で効果的に実現できるか。
• RQ2 前景ガイド付き密集特徴蒸留は、直接的なピクセル-wise模倣よりもクロスモーダル転送を改善するか。
• RQ3 品質重み付けと相互情報を用いた疎なインスタンス蒸留は、ノイズを導入せずにクロスモーダル知識転送を最大化できるか。
• RQ4 nuScenesにおける最先端マルチビュー検出器に対するBEVDistillの実証的影響はどの程度か。

主な発見

Detector	Setting	NDS	mAP
BEVFormer (Student)	Validation (ResNet-50, 1x)	42.3	35.2
BEVFormer (Teacher)	Validation (ResNet-50, 1x)	67.4	61.5
FitNet	Validation	41.1	34.4
Set2Set	Validation	41.0	33.1
MonoDistill	Validation	42.9	36.4
UVTR	Validation	43.1	36.2
BEVDistill (Ours)	Validation	45.7	38.6
BEVFormer-T (Student)	Validation (ResNet-50, 1x)	48.8	38.3
BEVDistill (Ours)	Validation (BEVFormer-T baseline)	51.5	40.7

• BEVDistillは、追加の推論コストなしで、シングルフレーム設定で3.4 NDSおよび3.4 mAP、マルチフレーム設定で2.7 NDSおよび2.4–2.3 mAPとBEVFormerを大幅に改善する。
• ソフト前景マスクを用いた密集特徴蒸留により、BEVFormer-R50ベースラインで2.5 NDSの向上を達成。
• 疎なインスタンス蒸留を追加すると追加で1.7 NDSの改善が得られ、合計で3.4 NDSの向上となる。
• nuScenesテストリーダーボードで、BEVDistill強化モデルは59.4 NDSを達成し、マルチビュー3D検出器の新たな最先端を樹立した。
• 他の蒸留法と比較して、BEVDistillは最高のNDSとmAPの向上を提供し、報告された検証実験でFitNet、Set2Set、MonoDistill、UVTRを上回る。
• アブレーションにより、InfoNCEベースのインスタンス損失とクロスモーダルMI最大化がクロスモーダル監視に有効であることが示される。