Skip to main content
QUICK REVIEW

[논문 리뷰] DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection

Yingwei Li, Adams Wei Yu|arXiv (Cornell University)|2022. 03. 15.
Advanced Neural Network ApplicationsComputer Science인용 수 24
한 줄 요약

이 논문은 InverseAug 및 LearnableAlign을 사용하여 LiDAR와 카메라 데이터를 통합하는 DeepFusion이라는 딥 피처 퓨전 방법을 제시하며, Waymo Open Dataset에서 다중 모달 3D 객체 검출의 최첨단 성능과 강력한 견고성 및 장거리 검출 개선을 달성합니다.

ABSTRACT

Lidars and cameras are critical sensors that provide complementary information for 3D detection in autonomous driving. While prevalent multi-modal methods simply decorate raw lidar point clouds with camera features and feed them directly to existing 3D detection models, our study shows that fusing camera features with deep lidar features instead of raw points, can lead to better performance. However, as those features are often augmented and aggregated, a key challenge in fusion is how to effectively align the transformed features from two modalities. In this paper, we propose two novel techniques: InverseAug that inverses geometric-related augmentations, e.g., rotation, to enable accurate geometric alignment between lidar points and image pixels, and LearnableAlign that leverages cross-attention to dynamically capture the correlations between image and lidar features during fusion. Based on InverseAug and LearnableAlign, we develop a family of generic multi-modal 3D detection models named DeepFusion, which is more accurate than previous methods. For example, DeepFusion improves PointPillars, CenterPoint, and 3D-MAN baselines on Pedestrian detection for 6.7, 8.9, and 6.2 LEVEL_2 APH, respectively. Notably, our models achieve state-of-the-art performance on Waymo Open Dataset, and show strong model robustness against input corruptions and out-of-distribution data. Code will be publicly available at https://github.com/tensorflow/lingvo/tree/master/lingvo/.

연구 동기 및 목표

  • LiDAR와 카메라로부터의 딥 피처를 원시 포인트가 아닌 딥 피처를 활용한 효과적인 다중 모달 3D 객체 검출을 촉진한다.
  • 기하학 관련 데이터 증강을 다루기 위한 정렬 인지 융합 기술 제안.
  • 기존 보셀 기반 3D 검출기에 플러그인으로 적용 가능하고 성능을 향상시키는 일반적인 DeepFusion 프레임워크를 개발한다.
  • 입력 노이즈나 외부분포(OOD) 데이터에 대한 로버스트성을 입증한다.

제안 방법

  • Pillar/ voxel 기반 백본에서 추출한 LiDAR 피처를 2D 이미지 백본의 카메라 피처와 융합하는 딥 피처 퓨전 파이프라인을 채택한다.
  • 정합을 위한 기하학 관련 데이터 증강을 역전시키는 InverseAug를 도입한다.
  • 카메라 피처를 동적으로 가중치화하여 보셀 수준 LiDAR 피처와 정렬하는 교차 주의 모듈인 LearnableAlign을 도입한다.
  • Anchor로서 DeepFusion을 엔드-투-엔드 학습 방식으로 PointPillars, CenterPoint, 3D-MAN 등 기존 보셀 기반 검출기를 향상시킬 수 있는 플러그인으로 제시한다.
  • 엔드 투 엔드 학습을 통해 심층 피처 수준의 카메라 피처가 오정렬 없이 더 높은 해상도 맥락 정보를 제공함을 보여준다.
  • Waymo Open Dataset에서 평가하고 단일 모달 베이스라인 및 기존 다중 모달 방법과 비교한다.

실험 결과

연구 질문

  • RQ1깊이 카메라와 LiDAR 피처의 정합이 입력 수준 융합에 비해 다중 모달 3D 검출을 향상시키는가?
  • RQ2InverseAug와 LearnableAlign가 다양한 데이터 증강 및 실제 환경 조건에서 견고하고 정확한 교차 모달 정합을 제공하는가?
  • RQ3DeepFusion이 다양한 보셀 기반 3D 검출기에 일반적으로 적용 가능한 플러그인 융합 방법인가?
  • RQ4다중 모달 DeepFusion은 장거리 물체 검출 및 분포 변화(distrobutional shifts) 또는 입력 오염에 어떻게 성능을 발휘하는가?

주요 결과

  • DeepFusion은 Waymo Open Dataset에서 다수의 기본 검출기를 개선하며, 특히 장거리 물체에서 현저한 이점을 보인다.
  • Waymo 검증에서 DeepFusion-Ens가 선도적 성능을 달성하고 DeepFusion이 LEVEL_2 APH에서 기존 다중 모달 방법보다 우수하다.
  • 특성의 제거 없이 InverseAug와 LearnableAlign이 성능에 기여하며, InverseAug가 더 큰 이점을 제공한다는 차등적 분석이 있다.
  • DeepFusion은 PointPillars, CenterPoint, 3D-MAN 등의 보셀 기반 모델에 걸쳐 일관되게 향상시키며(예: LEVEL_2에서 APH +6.7 ~ +8.9),
  • DeepFusion은 Waymo에서 최첨단 성능을 달성하고 입력 오염 및 OOD 데이터에 대해 단일 모달 모델에 비해 악화가 작아 견고함을 입증한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.