[논문 리뷰] Multi-View Adaptive Fusion Network for 3D Object Detection

Guojun Wang, Bin Tian외 4명|arXiv (Cornell University)|2020. 11. 02.

Advanced Neural Network Applications참고 문헌 35인용 수 24

한 줄 요약

이 논문은 주로 LiDAR Bird's-Eye View(BEV), Range View(RV), 및 카메라 이미지를 약한 점별 융합(Attention-based Pointwise Fusion, APF) 모듈과 약한 점별 가중치 부여(Attention-based Pointwise Weighting, APW) 모듈을 통해 융합하는 단일 단계 3D 객체 검출 프레임워크인 MVAF-Net을 제안한다. APF 모듈은 주어진 특징의 중요도에 따라 주의 메커니즘을 활용해 다중 시점 특징을 적응적으로 융합하며, APW 모듈은 전경 분류 및 중심 회귀를 통해 특징 학습을 향상시킨다. 이로 인해 KITTI에서 뛰어난 속도-정확도 트레이드오프를 달성하며 최신 기술 수준(SOTA)의 성능을 기록한다.

ABSTRACT

3D object detection based on LiDAR-camera fusion is becoming an emerging research theme for autonomous driving. However, it has been surprisingly difficult to effectively fuse both modalities without information loss and interference. To solve this issue, we propose a single-stage multi-view fusion framework that takes LiDAR bird's-eye view, LiDAR range view and camera view images as inputs for 3D object detection. To effectively fuse multi-view features, we propose an attentive pointwise fusion (APF) module to estimate the importance of the three sources with attention mechanisms that can achieve adaptive fusion of multi-view features in a pointwise manner. Furthermore, an attentive pointwise weighting (APW) module is designed to help the network learn structure information and point feature importance with two extra tasks, namely, foreground classification and center regression, and the predicted foreground probability is used to reweight the point features. We design an end-to-end learnable network named MVAF-Net to integrate these two components. Our evaluations conducted on the KITTI 3D object detection datasets demonstrate that the proposed APF and APW modules offer significant performance gains. Moreover, the proposed MVAF-Net achieves the best performance among all single-stage fusion methods and outperforms most two-stage fusion methods, achieving the best trade-off between speed and accuracy on the KITTI benchmark.

연구 동기 및 목표

• LiDAR와 카메라 데이터 간의 효과적인 다중 모odal 융합 문제를 해결함으로써 정보 손실과 간섭을 최소화하고자 한다.
• Bird's-Eye View(BEV), Range View(RV), 및 카메라 View(CV) 표현의 상호 보완적 강점을 활용하는 단일 단계, 엔드 투 엔드 학습 가능한 네트워크를 설계하고자 한다.
• 점 수준에서 각 시점의 중요도를 주의 메커니즘을 통해 적응적으로 추정함으로써 특징 융합을 향상시키고자 한다.
• 보조 작업을 통해 구조적 정보를 학습하고 예측된 전경 확률을 기반으로 점 특징을 재가중시킴으로써 특징 품질을 향상시키고자 한다.
• 기존의 단일 및 이중 단계 융합 방법에 비해 KITTI 벤치마크에서 정확도와 추론 속도 측면에서 뛰어난 성능을 달성하고자 한다.

제안 방법

• 프레임워크는 BEV, RV, CV 입력에서 특징을 추출하기 위해 삼중 스트림 CNN 백본을 사용하며, LiDAR 포인트는 BEV 및 RV 표현에서 볼륨화된다.
• 약한 점별 융합(Attentive Pointwise Fusion, APF) 모듈은 세 시점 간의 각 점에 대해 주의 가중치를 계산하여 특징 관련성에 기반한 동적이고 적응적인 융합을 가능하게 한다.
• 약한 점별 가중치 부여(Attentive Pointwise Weighting, APW) 모듈은 전경 분류 및 중심 회귀와 같은 두 가지 보조 작업을 도입하여 구조적 정보를 학습하고 예측된 전경 확률을 기반으로 점 특징을 재가중시킨다.
• 융합되고 재가중된 특징들은 다시 볼륨화되어 엔드 투 엔드 방식으로 3D 객체 예측을 위한 검출 헤드로 입력된다.
• 네트워크는 검출 손실과 APW 구성 요소에서 유도된 보조 손실을 포함하는 다중 작업 감독 하에 엔드 투 엔드로 훈련된다.
• 특징 시각화 및 추상화 연구를 통해 주의 기반 융합과 재가중 전략이 노이즈를 억제하고 관련 특징을 강화하는 데 효과적임을 검증한다.

실험 결과

연구 질문

• RQ1 LiDAR BEV, RV, 및 카메라 이미지에서 유도된 다중 시점 특징을 어떻게 적응적으로 융합하여 정보 손실과 간섭을 최소화할 수 있는가?
• RQ2 점 수준에서 다양한 시점의 기여도를 동적으로 가중하기 위해 주의 메커니즘을 사용할 경우 어떤 영향을 미치는가?
• RQ3 전경 분류 및 중심 회귀와 같은 보조 작업은 3D 객체 검출에서 특징 표현과 검출 정확도를 향상시킬 수 있는가?
• RQ4 기존의 단일 및 이중 단계 LiDAR-카메라 융합 방법과 비교했을 때 제안된 융합 전략의 성능과 효율성은 어떠한가?
• RQ5 전경 확률 기반의 특징 재가중 전략이 장거리 및 소형 객체의 검출 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 APF 모듈은 KITTI 검증 세트에서 'Car' 검출에 대해 3D mAP 89.35%를 달성하였으며, APF 없이 기준 모델을 사용한 경우 대비 1.62% 향상된 성능을 기록하였다.
• APW 모듈은 성능 향상에 기여가 크며, 모든 구성 요소를 사용했을 때 'Hard' 세트에서 기준 모델 대비 mAP 1.44% 향상되었다.
• 추상화 연구 결과, BEV 표현은 근접 거리에서 가장 효과적이며, CV 및 RV 특징은 장거리에서 선택적으로 사용되어 노이즈를 감소시킴을 확인하였다.
• 시각화 결과, APF 모듈이 근접 거리에서 식생과 같은 노이즈 특징을 억제하고, BEV 및 RV에서 먼 거리의 객체 특징을 강화함을 확인하였다.
• APW 모듈은 배경 점 특징을 효과적으로 억제하면서도 전경 특징을 유지하고 강화함을 특징 시각화를 통해 입증하였다.
• MVAF-Net은 모든 단일 단계 융합 방법 중에서 가장 뛰어난 성능을 기록하였으며, 대부분의 이중 단계 방법을 능가하여 KITTI에서 속도-정확도 트레이드오프 측면에서 새로운 최신 기술 수준(SOTA)을 수립하였다.