[논문 리뷰] MV2DFusion: Leveraging Modality-Specific Object Semantics for Multi-Modal 3D Detection

Zitian Wang, Zehao Huang외 3명|arXiv (Cornell University)|2024. 08. 12.

Image Processing and 3D Reconstruction인용 수 5

한 줄 요약

MV2DFusion은 이미지와 포인트 클라우드 쿼리 및 희소 융합 디코더를 통해 다중 모달 3D 탐지를 수행하고 nuScenes와 AV2에서 특히 원거리 시나리오에서 최첨단 성능을 달성합니다.

ABSTRACT

The rise of autonomous vehicles has significantly increased the demand for robust 3D object detection systems. While cameras and LiDAR sensors each offer unique advantages--cameras provide rich texture information and LiDAR offers precise 3D spatial data--relying on a single modality often leads to performance limitations. This paper introduces MV2DFusion, a multi-modal detection framework that integrates the strengths of both worlds through an advanced query-based fusion mechanism. By introducing an image query generator to align with image-specific attributes and a point cloud query generator, MV2DFusion effectively combines modality-specific object semantics without biasing toward one single modality. Then the sparse fusion process can be accomplished based on the valuable object semantics, ensuring efficient and accurate object detection across various scenarios. Our framework's flexibility allows it to integrate with any image and point cloud-based detectors, showcasing its adaptability and potential for future advancements. Extensive evaluations on the nuScenes and Argoverse2 datasets demonstrate that MV2DFusion achieves state-of-the-art performance, particularly excelling in long-range detection scenarios.

연구 동기 및 목표

• 카메라와 LiDAR의 보완적 강점을 활용하여 견고한 3D 물체 탐지를 달성한다.
• 융합 과정에서 모달리티 편향을 피하기 위해 모달리티별 객체 시맨틱스를 개발한다.
• 任任 any 이미지 및 LiDAR 탐지기와의 유연한 통합과 원거리의 희소 융합을 지원한다.
• 이미지에서 깊이 추정의 문제를 완화하기 위한 불확실성 인식의 이미지 쿼리를 제안한다.
• nuScenes와 Argoverse 2에서 최첨단 성능을 입증한다.

제안 방법

• Independent image and LiDAR backbones extract modality-specific features.
• Create modality-specific object queries (point cloud queries from 3D detections; image queries from 2D detections with uncertainty-aware depth handling).
• Generate image queries with uncertainty-aware depth distributions to align with image modality. (Equations 3.2.3–3.2.4)
• Fuse modality queries and features in a transformer-like decoder with self-attention and cross-attention (including deformable cross-attention for image features).
• Calibrate image queries across decoder layers to refine depth/pose uncertainty (Query Calibration).
• Incorporate temporal information via a history query queue for efficient temporal fusion (Section 3.3.5).

실험 결과

연구 질문

• RQ1 모달리티별 객체 시맨틱스가 단일 모달리에 편향 없이 다중 모달 3D 탐지를 어떻게 개선할 수 있는가?
• RQ2 쿼리 기반 융합 프레임워크가 희소하고 원거리 설정에서 이미지와 LiDAR 정보를 효과적으로 융합할 수 있는가?
• RQ3 확정적 깊이 제안과 비교하여 불확실성 인식 이미지 쿼리를 통해 어떤 이점이 있는가?
• RQ4 MV2DFusion은 nuScenes와 AV2에서 특히 원거리 물체에 대해 어떻게 성능을 발휘하는가?

주요 결과

Method	NDS ↑	mAP ↑	mATE ↓	mASE ↓	mAOE ↓	mAVE ↓	mAAE ↓
PointPainting	0.610	0.541	0.380	0.260	0.541	0.293	0.131
PointAugmenting	0.711	0.668	0.253	0.235	0.354	0.266	0.123
MVP	0.705	0.664	0.263	0.238	0.321	0.313	0.134
TransFusion	0.717	0.689	0.259	0.243	0.359	0.288	0.127
UVTR	0.711	0.671	0.306	0.245	0.351	0.225	0.124
AutoAlignv2	0.724	0.684	-	-	-	-	-
BEVFusion	0.729	0.702	0.261	0.239	0.329	0.260	0.134

• nuScenes 및 AV2 벤치마크에서 최첨단 성능을 달성하며 원거리 탐지 능력이 강력합니다.
• 모달리티별 제안 및 쿼리가 모달리티 편향 없이 효과적인 교차 모달 융합을 가능하게 함을 보여줍니다.
• 이미지와 LiDAR 탐지기에 상관없이 어떤 프레임워크와도 유연하게 통합되며 전체 희소성을 유지하여 효율성을 제공합니다.
• 불확실성 인식 이미지 쿼리가 융합 과정에서 깊이 추정 오류를 완화하는 데 도움을 줍니다.
• 히스토리 쿼리 큐를 통한 시간적 융합은 과거 정보를 최소한의 오버헤드로 효율적으로 활용합니다.