[論文レビュー] Leveraging Vision-Centric Multi-Modal Expertise for 3D Object Detection

Linyan Huang, Zhiqi Li+5 more|arXiv (Cornell University)|Oct 24, 2023

Advanced Neural Network Applications被引用数 8

ひとこと要約

Vision-centric multi-modal expert (VCD-E) とカメラのみの見習いモデル (VCD-A) を導入し、軌道ベースの蒸留と占有リコンストラクションを用いて、カメラのみと多モーダル3D検出器間のギャップを縮小し、nuScenesで最先端の結果を達成する。

ABSTRACT

Current research is primarily dedicated to advancing the accuracy of camera-only 3D object detectors (apprentice) through the knowledge transferred from LiDAR- or multi-modal-based counterparts (expert). However, the presence of the domain gap between LiDAR and camera features, coupled with the inherent incompatibility in temporal fusion, significantly hinders the effectiveness of distillation-based enhancements for apprentices. Motivated by the success of uni-modal distillation, an apprentice-friendly expert model would predominantly rely on camera features, while still achieving comparable performance to multi-modal models. To this end, we introduce VCD, a framework to improve the camera-only apprentice model, including an apprentice-friendly multi-modal expert and temporal-fusion-friendly distillation supervision. The multi-modal expert VCD-E adopts an identical structure as that of the camera-only apprentice in order to alleviate the feature disparity, and leverages LiDAR input as a depth prior to reconstruct the 3D scene, achieving the performance on par with other heterogeneous multi-modal experts. Additionally, a fine-grained trajectory-based distillation module is introduced with the purpose of individually rectifying the motion misalignment for each object in the scene. With those improvements, our camera-only apprentice VCD-A sets new state-of-the-art on nuScenes with a score of 63.1% NDS.

研究の動機と目的

• カメラのみの3D物体検出器を多モーダル専門家とのドメインギャップを縮小させることで改善を促す。
• LiDAR深度を深度事前情報として活用しつつ、カメラのみモデルと同一のアーキテクチャを維持する Vision-centric expert を提案する。
• 長期的な時間融合における運動ミスアラインメントに対処する軌道ベースの蒸年を開発する。
• occupancy reconstruction を導入して深度推定を強化するための密な深度監視を提供する。

提案手法

• 画像特徴とLiDAR深度をフュージョンして BEV 表現を構築しつつ、 apprentice と同じアーキテクチャを共有する Vision-centric expert (VCD-E) を作成する。
• expert を固定し、補助損失を介して中間特徴を camera-only apprentice (VCD-A) に蒸留する。
• Trajectory-based distillation: 過去のオブジェクト軌道を現在のフレームへワープさせ、整列した BEV 特徴をサンプルして軌道ベースの損失を計算し運動ミスアラインメントを修正する（L_TD）。
• Occupancy reconstruction: 深度を3D空間へバックプロジェクションし占有グリッドを構築し、expert から apprentice へ L1 に基づく深度/占有監視（L_OR）を適用する。
• Joint training loss: L_Total = L_A + λ1 L_TD + λ2 L_OR, ここで L_A は apprentice の perceptual loss。

実験結果

リサーチクエスチョン

• RQ1 LiDAR 深度事前情報を持つ Vision-centric expert は、視覚ベースモデルと同一のホモジニアスな形で、最先端の多モーダル手法に匹敵できるか？
• RQ2 軌道ベースの蒸留は、カメラのみ検出器の長期的な時間融合時の動的オブジェクト処理を改善できるか？
• RQ3 占有ベースの深度監視は、BEV空間で前景オブジェクトの深度推定を改善するか？
• RQ4 Vision-centric expert からの知識蒸留は、異なるバックボーンや時間長に対して性能にどう影響するか？

主な発見

Methods	Backbone	Image Size	Frames	mAP ↑	NDS ↑	mATE ↓	mASE ↓	mAOE ↓	mAVE ↓	mAAE ↓
BEVDet	ResNet-50	256 × 704	1	0.298	0.379	0.725	0.279	0.589	0.860	0.245
PETR	ResNet-50	384 × 1056	1	0.313	0.381	0.768	0.278	0.564	0.923	0.225
BEVDet4D	ResNet-50	256 × 704	2	0.322	0.457	0.703	0.278	0.495	0.354	0.206
BEVDepth	ResNet-50	256 × 704	2	0.351	0.475	0.639	0.267	0.479	0.428	0.198
BEVStereo	ResNet-50	256 × 704	2	0.372	0.500	0.598	0.270	0.438	0.367	0.190
STS	ResNet-50	256 × 704	2	0.377	0.489	0.601	0.275	0.450	0.446	0.212
VideoBEV	ResNet-50	256 × 704	8	0.422	0.535	0.564	0.276	0.440	0.286	0.198
SOLOFusion	ResNet-50	256 × 704	16+1	0.427	0.534	0.567	0.274	0.411	0.252	0.188
StreamPETR	ResNet-50	256 × 704	8	0.432	0.540	0.581	0.272	0.413	0.295	0.195
Baseline	ResNet-50	256 × 704	8+1	0.401	0.515	0.595	0.279	0.489	0.291	0.198
VCD-A	ResNet-50	256 × 704	8+1	0.426	0.540	0.547	0.271	0.433	0.268	0.207
Baseline ∗	ResNet-50	256 × 704	8+1	0.418	0.542	0.522	0.267	0.428	0.262	0.188
VCD-A ∗	ResNet-50	256 × 704	8+1	0.446	0.566	0.497	0.260	0.350	0.257	0.203

• VCD-E は、 image backbone に深度事前情報を組み合わせるだけで、nuScenes val において 67.7% mAP と 71.1% NDS の結果を達成し、最先端の多モーダル手法と競合できる。
• VCD-A は nuScenes val で prior camera-only SOTA を上回り（NDS 0.566, mAP 0.446、test-time augmentation あり）、テストセットでは主導（NDS 0.631, mAP 0.548、ConvNext-B backbone）。
• Trajectory-based distillation により長期的な窓長の増加に伴い、NDS が最大で 5.7 ポイント、mAP が最大で 5.7 ポイント向上。
• Occupancy reconstruction は密な3D監視を提供し、深度予測と物体位置推定を改善し、全体的なゲインに顕著に寄与。
• 長期的な時間融合、軌道ベース蒸留、占有監視の組み合わせにより、nuScenes における camera-only 検出器の最先端結果を達成。