[논문 리뷰] Leveraging Vision-Centric Multi-Modal Expertise for 3D Object Detection

Linyan Huang, Zhiqi Li외 5명|arXiv (Cornell University)|2023. 10. 24.

Advanced Neural Network Applications인용 수 8

한 줄 요약

비전 중심의 다중모달 전문가(VCD-E)와 카메라 전용 수습생(VCD-A)을 도입하여 궤적 기반 증류와 점유 기반 깊이 재구성을 통해 카메라 전용과 다중모달 3D 탐지기 간의 격차를 해소하고 nuScenes에서 최첨단 결과를 달성한다.

ABSTRACT

Current research is primarily dedicated to advancing the accuracy of camera-only 3D object detectors (apprentice) through the knowledge transferred from LiDAR- or multi-modal-based counterparts (expert). However, the presence of the domain gap between LiDAR and camera features, coupled with the inherent incompatibility in temporal fusion, significantly hinders the effectiveness of distillation-based enhancements for apprentices. Motivated by the success of uni-modal distillation, an apprentice-friendly expert model would predominantly rely on camera features, while still achieving comparable performance to multi-modal models. To this end, we introduce VCD, a framework to improve the camera-only apprentice model, including an apprentice-friendly multi-modal expert and temporal-fusion-friendly distillation supervision. The multi-modal expert VCD-E adopts an identical structure as that of the camera-only apprentice in order to alleviate the feature disparity, and leverages LiDAR input as a depth prior to reconstruct the 3D scene, achieving the performance on par with other heterogeneous multi-modal experts. Additionally, a fine-grained trajectory-based distillation module is introduced with the purpose of individually rectifying the motion misalignment for each object in the scene. With those improvements, our camera-only apprentice VCD-A sets new state-of-the-art on nuScenes with a score of 63.1% NDS.

연구 동기 및 목표

• 카메라 전용 3D 물체 탐지기에서 다중모달 전문가와의 도메인 격차를 줄여 개선을 모티브로 삼는다.
• 비전-전용 모델과 공유 아키텍처를 유지하면서 LiDAR 깊이를 깊이 우선순위로 사용하는 비전 중심 전문가를 제안한다.
• 장기 시계열 융합에서의 운동 정합성 문제를 다루기 위해 궤적 기반의 증류를 개발한다.
• 깊이 추정 개선을 위한 조밀한 깊이 감독을 제공하기 위해 점유 재구성을 도입한다.

제안 방법

• 이미지 특징과 LiDAR 깊이를 융합하여 BEV 표현을 생성하는 비전 중심 전문가(VCD-E)를 구축하되, 수습생과 동일한 아키텍처를 공유한다.
• 전문가를 고정하고 보조 손실을 통해 중간 특징을 카메라 전용 수습생(VCD-A)으로 증류한다.
• 궤적 기반 증류: 과거 물체 궤적을 현재 프레임으로 워핑하고 정렬된 BEV 특징을 샘플링하여 모션 정합성(MOTION)을 교정하는 궤적 기반 손실(L_TD)을 계산한다.
• 점유 재구성: 깊이를 3D 공간으로 역투사하고 점유 격자를 구성한 뒤 전문가에서 수습생으로 L1 기반 깊이/점유 감독(L_OR)을 적용한다.
• 공동 학습 손실: L_Total = L_A + λ1 L_TD + λ2 L_OR, 여기서 L_A는 수습생 지각 손실이다.

실험 결과

연구 질문

• RQ1 LiDAR 깊이 우선순위를 가진 비전 중심 전문가는 동등하게 최신 다중모달 방법과 맞먹을 수 있으면서도 비전 기반 모델과 동일한 구조를 유지할 수 있는가?
• RQ2 궤적 기반 증류가 카메라 전용 탐지기의 장기 시계열 융합 시 동적 물체 처리에 도움이 되는가?
• RQ3 점유 기반 깊이 감독이 BEV 공간의 전경 물체 깊이 추정 향상에 기여하는가?
• RQ4 비전 중심 전문가로부터의 지식 증류가 다양한 백본 및 시간 길이에서 성능에 어떤 영향을 미치는가?

주요 결과

방법	백본	이미지 크기	프레임	mAP ↑	NDS ↑	mATE ↓	mASE ↓	mAOE ↓	mAVE ↓	mAAE ↓
BEVDet	ResNet-50	256 × 704	1	0.298	0.379	0.725	0.279	0.589	0.860	0.245
PETR	ResNet-50	384 × 1056	1	0.313	0.381	0.768	0.278	0.564	0.923	0.225
BEVDet4D	ResNet-50	256 × 704	2	0.322	0.457	0.703	0.278	0.495	0.354	0.206
BEVDepth	ResNet-50	256 × 704	2	0.351	0.475	0.639	0.267	0.479	0.428	0.198
BEVStereo	ResNet-50	256 × 704	2	0.372	0.500	0.598	0.270	0.438	0.367	0.190
STS	ResNet-50	256 × 704	2	0.377	0.489	0.601	0.275	0.450	0.446	0.212
VideoBEV	ResNet-50	256 × 704	8	0.422	0.535	0.564	0.276	0.440	0.286	0.198
SOLOFusion	ResNet-50	256 × 704	16+1	0.427	0.534	0.567	0.274	0.411	0.252	0.188
StreamPETR	ResNet-50	256 × 704	8	0.432	0.540	0.581	0.272	0.413	0.295	0.195
Baseline	ResNet-50	256 × 704	8+1	0.401	0.515	0.595	0.279	0.489	0.291	0.198
VCD-A	ResNet-50	256 × 704	8+1	0.426	0.540	0.547	0.271	0.433	0.268	0.207
Baseline ∗	ResNet-50	256 × 704	8+1	0.418	0.542	0.522	0.267	0.428	0.262	0.188
VCD-A ∗	ResNet-50	256 × 704	8+1	0.446	0.566	0.497	0.260	0.350	0.257	0.203

• VCD-E는 이미지 백본과 깊이 우선순위를 사용하더라도 다중모달 방법에 근접한 성능을 달성하며 nuScenes val에서 67.7% mAP 및 71.1% NDS를 기록했다.
• VCD-A는 nuScenes val에서 기존 카메라 전용 SOTA를 능가했으며(NDS 0.566, mAP 0.446, 테스트 타임 보정 포함), 테스트 세트에서 선두를 차지했다(NDS 0.631, mAP 0.548, ConvNext-B 백본).
• 궤적 기반 증류는 시간 창이 커질수록 NDS를 최대 5.7포인트, mAP를 최대 5.7포인트까지 크게 향상시키는 결과를 낳았다.
• 점유 재구성은 조밀한 3D 감독을 제공하여 깊이 예측 및 물체 위치 추정 성능을 향상시키며 전체 성능 향상에 기여했다.
• 장기 시계열 융합, 궤적 기반 증류 및 점유 감독의 조합은 nuScenes에서 카메라 전용 탐지기에 대해 최첨단 결과를 이끌어냈다.