[논문 리뷰] mmFUSION: Multimodal Fusion for 3D Objects Detection

Javed Ahmad, Alessio Del Bue|arXiv (Cornell University)|2023. 11. 07.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 KITTI와 NuScenes에서 기존의 초기, 후기, 이단계 병합 기반 베이스라인을 능가하며, 영역 제안이나 초기 특징 정렬에 의존하지 않고도 최신 기술 수준의 성능을 달성하는 3D 객체 검출을 위한 새로운 중간 수준의 다중모달 병합 프레임워크인 mmFUSION을 제안한다. 이미지와 LiDAR 특징을 공통의 저해상도 3D 볼륨으로 변환한 후, 상호 모odal 간 및 다중 모달 간 주의 메커니즘을 통해 병합한다.

ABSTRACT

Multi-sensor fusion is essential for accurate 3D object detection in self-driving systems. Camera and LiDAR are the most commonly used sensors, and usually, their fusion happens at the early or late stages of 3D detectors with the help of regions of interest (RoIs). On the other hand, fusion at the intermediate level is more adaptive because it does not need RoIs from modalities but is complex as the features of both modalities are presented from different points of view. In this paper, we propose a new intermediate-level multi-modal fusion (mmFUSION) approach to overcome these challenges. First, the mmFUSION uses separate encoders for each modality to compute features at a desired lower space volume. Second, these features are fused through cross-modality and multi-modality attention mechanisms proposed in mmFUSION. The mmFUSION framework preserves multi-modal information and learns to complement modalities' deficiencies through attention weights. The strong multi-modal features from the mmFUSION framework are fed to a simple 3D detection head for 3D predictions. We evaluate mmFUSION on the KITTI and NuScenes dataset where it performs better than available early, intermediate, late, and even two-stage based fusion schemes. The code with the mmdetection3D project plugin will be publicly available soon.

연구 동기 및 목표

• 초기 병합과 후기 병합의 한계를 해결하기 위해 더 유연한 중간 수준의 병합 전략을 제안하는 것.
• 다양한 모달 간 특징의 잘못된 정렬과 정보 손실 문제를 해결하기 위해 모달을 공통의 3D 특징 공간으로 변환하는 것.
• 영역 제안이나 사전 학습된 단일 모달 검출기 의존 없이 카메라와 LiDAR의 보완적 특징을 공동으로 학습할 수 있도록 하는 것.
• 두 모달의 특징을 동적으로 가중하고 향상시켜 검출 정확도를 향상시키는 주의 기반 병합 메커니즘을 설계하는 것.
• 향후 다중모달 3D 검출 연구를 위한 강력한, 단일 단계, 특징 수준의 병합 기반 베이스라인을 확립하는 것.

제안 방법

• 고차원 특징을 저해상도 3D 볼륨으로 변환하기 위해 이미지 및 LiDAR 인코더를 별도로 사용하여 공간적 및 의미적 정보를 유지한다.
• 3D 컨볼루션 레이어와 시그모이드 게이팅을 사용하여 상호 모달 간 주의를 적용하여 이미지 및 LiDAR 모달의 특징을 정렬하고 가중치를 부여한다.
• 잔차 블록과 주의 가중치를 통해 모달별 중요도를 학습함으로써 다중 모달 간 주의가 병합된 특징을 추가로 정밀화한다.
• 병합된 특징은 표준 3D 검출 헤드에 적합한 최종 공동 표현으로 디코딩된다.
• 모든 네트워크는 상자 회귀 및 분류를 위한 3D 검출 헤드와 함께 엔드 투 엔드로 훈련된다.
• 영역 제안이나 제안에 의존하지 않아 더 유연하고 적응 가능한 병합 파이프라인을 제공한다.

Figure 1 : Different fusion schemes in 3D detection pipeline. (a) Early Fusion: Low-level multi-modal features are associated at an early stage with the help of RoIs before predicting final 3D proposals. (b) Late Fusion: Proposals from a particular modality are predicted first, and then high-level f

실험 결과

연구 질문

• RQ1 영역 제안에 의존하지 않고도 중간 수준의 병합이 초기 병합 및 후기 병합보다 3D 객체 검출에서 더 우수한 성능을 낼 수 있는가?
• RQ2 공통의 3D 공간에서 카메라와 LiDAR의 특징을 효과적으로 정렬하고 향상시키기 위해 상호 모달 간 및 다중 모달 간 주의 메커니즘이 어떻게 기능할 수 있는가?
• RQ3 성능과 계산 비용의 균형을 고려할 때, 다중모달 3D 검출에서 최적의 특징 볼륨 크기와 네트워크 구성은 무엇인가?
• RQ4 단일 단계, 엔드 투 엔드 학습 가능한 병합 프레임워크가 KITTI 및 NuScenes와 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 제안된 병합 메커니즘은 LiDAR 포인트가 희박하거나 카메라 특징이 약한 영역에서 어떻게 대처하는가?

주요 결과

• mmFUSION는 KITTI 데이터셋에서 기존의 초기, 중간, 후기, 이단계 병합 방법을 모두 능가하는 최신 기술 수준의 성능을 달성한다.
• NuScenes 데이터셋에서 mmFUSION는 다음으로 우수한 베이스라인 대비 mAP가 3.5% 높아, 뛰어난 일반화 능력을 입증한다.
• 176×200×5 특징 볼륨을 사용한 mmFUSION의 기본 설정은 성능과 계산 비용 사이의 최적의 균형을 이룬다.
• 제거 분석 결과, 특징 볼륨 크기를 증가시키면 mAP가 향상되지만, 일정 수준 이상에서는 수익 감소 현상이 나타난다.
• 정성적 시각화 결과, mmFUSION는 LiDAR 포인트가 없는 영역에서도 카메라 의미 정보를 활용하여 객체를 효과적으로 국소화함을 보여준다.
• 프레임워크는 지상 진술에 존재하지 않는 객체까지도 성공적으로 검출하여 센서 노이즈와 가림 현상에 대한 강건성을 입증한다.

Figure 2 : The framework for 3D object detection with mmFUSION. The Image and LiDAR point clouds features are extracted using their respective backbones and these features are transformed to respective defined 3D volumes as shown in part Part A . In Part B : the Img-Encoder and LiDAR-Encoder transfo