[논문 리뷰] FusionPainting: Multimodal Fusion with Adaptive Attention for 3D Object Detection

Shaoqing Xu, Dingfu Zhou외 4명|arXiv (Cornell University)|2021. 06. 23.

Advanced Neural Network Applications참고 문헌 47인용 수 9

한 줄 요약

FusionPainting은 주목적 기반 모듈을 통해 2D 이미지와 3D 포인트 클라우드의 의미적 세그멘테이션을 적응적으로 융합하는 새로운 다중모달 융합 프레임워크를 제안한다. 이는 3D 객체 검출 성능을 향상시키기 위해 설계되었다. 양 모odal 간 상보적인 의미적 신호를 융합함으로써, 이 방법은 nuScenes 벤치마크에서 기존 방법보다 8.1 NDS 및 13.6 mAP 포인트를 개선하여 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Accurate detection of obstacles in 3D is an essential task for autonomous driving and intelligent transportation. In this work, we propose a general multimodal fusion framework FusionPainting to fuse the 2D RGB image and 3D point clouds at a semantic level for boosting the 3D object detection task. Especially, the FusionPainting framework consists of three main modules: a multi-modal semantic segmentation module, an adaptive attention-based semantic fusion module, and a 3D object detector. First, semantic information is obtained for 2D images and 3D Lidar point clouds based on 2D and 3D segmentation approaches. Then the segmentation results from different sensors are adaptively fused based on the proposed attention-based semantic fusion module. Finally, the point clouds painted with the fused semantic label are sent to the 3D detector for obtaining the 3D objection results. The effectiveness of the proposed framework has been verified on the large-scale nuScenes detection benchmark by comparing it with three different baselines. The experimental results show that the fusion strategy can significantly improve the detection performance compared to the methods using only point clouds, and the methods using point clouds only painted with 2D segmentation information. Furthermore, the proposed approach outperforms other state-of-the-art methods on the nuScenes testing benchmark.

연구 동기 및 목표

• 단일 모달 3D 객체 검출의 한계, 특히 2D 세그멘테이션에서의 경계 흐림 현상과 3D 포인트 클라우드에서의 낮은 텍스처 이해 능력 문제를 해결하기 위해.
• 2D RGB 이미지와 3D LiDAR 포인트 클라우드의 의미 정보를 의미 수준에서 융합하여 검출 정확도를 향상시키기 위해.
• 어떤 3D 검출기라도 적응형 융합을 통해 향상시킬 수 있는 일반적이고 검출기 무관(framework-agnostic)인 프레임워크를 개발하기 위해.
• 기존 융합 방법의 단점—예를 들어 정확도가 떨어지는 2D 투영 및 제한된 3D 텍스처 이해 능력—을 보완하기 위해 두 모달 간의 상보적인 강점을 조합하기 위해.

제안 방법

• 프레임워크는 오프더셰프 모델을 사용하여 2D 이미지와 3D 포인트 클라우드에서 의미 레이블을 추출하는 다중모달 의미 세그멘테이션 모듈을 활용한다.
• 적응형 주목적 기반 의미 융합 모듈은 볼록 수준의 특징 공간에서 맥락적 신호를 기반으로 2D 및 3D 세그멘테이션 특징의 중요도를 학습한다.
• 융합 과정은 각 3D 포인트에 대해 개선된 의미 레이블을 생성하며, 이는 포인트 클라우드에 향상된 의미적 맥락을 '페인팅'하는 데 사용된다.
• 페인팅된 포인트 클라우드는 최종 검출 추론을 위해 3D 객체 검출기(예: CenterPoint, PointPillars)에 입력된다.
• 주목적 모듈은 검출기와 함께 엔드 투 엔드로 훈련되며, 이로써 네트워크는 국소적 환경 맥락에 적응하는 모달 특화 주목적 가중치를 학습할 수 있다.
• 이 방법은 포인트 기반 및 볼록 기반 3D 검출기 양쪽 모두와 호환되어 일반적인 목적의 융합 프레임워크가 된다.

실험 결과

연구 질문

• RQ1 2D 및 3D 의미 세그멘테이션 결과를 융합함으로써, 단일 모달리티를 사용할 때보다 3D 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 2D 이미지 세그멘테이션의 강점(높은 텍스처, 낮은 깊이 정보)과 3D 포인트 클라우드 세그멘테이션의 강점(오염에 강건, 기하학적 정확도)을 효과적으로 조합할 수 있는가?
• RQ3 적응형 주목적 기반 메커니즘이 고정 가중치 또는 조기 융합 전략보다 다중모달 3D 검출에서 더 우수한 성능을 낼 수 있는가?
• RQ4 제안된 융합 전략은 다양한 3D 검출기 간에 일반화되며 성능 향상을 유지하는가?

주요 결과

• 적응형 주목적 모듈을 사용하여 2D 및 3D 페인팅을 적용했을 때, 기준 모델인 CenterPoint 대비 mAP가 11.30 포인트 향상되고 NDS가 5.45 포인트 향상되었다.
• nuScenes 테스트 세트에서 이 방법은 mAP 66.53% 및 NDS 70.68%를 달성하여 이전 SOTA 방법인 3DCVF를 8.1 NDS 및 13.6 mAP 포인트 초월했다.
• 제거 분석 결과, 2D 세그멘테이션만으로는 mAP 21.90%, NDS 8.46% 향상이 있었고, 3D 세그멘테이션만으로는 mAP 9.81%, NDS 3.92% 향상이 있었다.
• 2D 및 3D 페인팅을 적응형 주목적 모듈과 조합했을 때 평균적으로 세 개의 검출기에서 mAP 26.58%, NDS 10.90% 향상이 달성되어 가장 높은 성능 향상을 보였다.
• 정성적 결과는 FusionPainting이 2D 페인팅에서 유래한 가짜 양성(false positives)을 감소시키고, 2D 또는 3D 단독 페인팅 대비 경계 검출 성능을 향상시킴을 보여주었다.
• 프레임워크는 검출기 독립적이며, CenterPoint, PointPillars 및 기타 3D 검출기 모두에 적용했을 때 일관된 성능 향상을 보였다.