[논문 리뷰] Multi-Task Multi-Sensor Fusion for 3D Object Detection

Ming Liang, Bin Yang외 3명|arXiv (Cornell University)|2020. 12. 22.

Advanced Neural Network Applications참고 문헌 29인용 수 8

한 줄 요약

이 논문은 LiDAR와 카메라 입력을 사용하여 2D/3D 검출, 지면 추정, 깊이 복원을 종합적으로 최적화하는 엔드 투 엔드, 다중 작업, 다중 센서 융합 프레임워크를 제안한다. 점별 및 ROI별 특징 융합을 다중 작업 학습과 결합함으로써, KITTI 및 TOR4D 벤치마크에서 최신 기술 수준의 성능을 달성하며, 실시간으로 작동(10+ FPS)하면서도 3D 검출에서 이전 방법보다 3% 이상 높은 AP를 기록한다.

ABSTRACT

In this paper we propose to exploit multiple related tasks for accurate multi-sensor 3D object detection. Towards this goal we present an end-to-end learnable architecture that reasons about 2D and 3D object detection as well as ground estimation and depth completion. Our experiments show that all these tasks are complementary and help the network learn better representations by fusing information at various levels. Importantly, our approach leads the KITTI benchmark on 2D, 3D and BEV object detection, while being real time.

연구 동기 및 목표

• 단일 센서 3D 검출의 한계(예: 장거리에서의 희박한 LiDAR 데이터와 단안 이미지의 깊이 모호성)를 보완하기 위해 다중 센서 간 상호보완적 정보를 활용한다.
• 계속되는 또는 희박한 ROI 기반 융합 방법의 비효율성과 정확도 부족 문제를 해결하기 위해, 모odal 간에 조밀하고 엔드 투 엔드 특징 융합을 가능하게 한다.
• 보조 작업(깊이 복원, 지면 추정)을 통한 다중 작업 감독을 통해 특징 표현 학습을 향상시켜 기하학적 및 맥락적 사전 지식을 제공함으로써 검출 성능을 향상시킨다.
• 실시간 추론을 통해 자율 주행 시스템에 실용적으로 구현 가능하게 하면서도, 2D, 3D 및 Bird’s Eye View(BEV) 검출 작업 전반에서 높은 정확도를 유지한다.

제안 방법

• RGB 이미지와 LiDAR 포인트 클라우드를 사용하여 2D 검출, 3D 검출, 지면 추정, 깊이 복원을 동시에 수행하는 통합형 엔드 투 엔드 딥 러닝 아키텍처를 설계한다.
• 점별 융합(포인트 프로젝션을 통한)과 ROI별 특징 융합을 조합한 하이브리드 융합 전략을 구현하여, 다양한 수준의 다중 모odal 특징 통합을 가능하게 한다.
• 희박한 LiDAR 스캔에서 조밀한 깊이 맵을 예측하는 보조 작업으로 깊이 복원을 사용하여 전체 특징 맵에 걸쳐 더 풍부하고 조밀한 특징 융합을 가능하게 한다.
• 예측된 지면 위치를 기하학적 감독으로 활용하여 BEV 백본이 객체의 상대적 위치를 더 정확히 추정하도록 유도함으로써 3D 위치 추정 정확도를 향상시킨다.
• 모든 작업이 상호 보완적으로 기여하도록 다중 작업 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련한다.
• 이미지 특징을 위해 ResNet-18 백본을, LiDAR 특징을 위해 PointNet 기반 헤드를 사용하며, 최종 검출 헤드 이전에 다중 스케일에서 특징 맵을 융합한다.

실험 결과

연구 질문

• RQ1 2D/3D 검출, 깊이 복원, 지면 추정과 같은 다수의 인식 작업을 종합적으로 최적화하면, 단일 작업 또는 이중 작업 설정을 초월하여 3D 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 특히 장거리 또는 가림을 받는 객체와 같은 어려운 상황에서, LiDAR와 카메라 데이터를 융합함으로써 검출 성능에 어떤 이점이 있는가?
• RQ3 보조 작업으로서의 깊이 복원이 특징 표현 향상에 얼마나 기여하며, 더 조밀하고 효과적인 다중 모달 융합을 가능하게 하는가?
• RQ4 통합형 엔드 투 엔드 아키텍처는 정확도와 추론 속도 측면에서 계단식 또는 이단계 융합 파이프라인을 초월할 수 있는가?
• RQ5 기하학적 사전 지식(예: 지면 평면 추정)을 활용한 다중 작업 학습이 장거리 및 저조도 조건에서의 객체 검출에 대해 얼마나 강력한 로버스트성과 일반화 능력을 향상시키는가?

주요 결과

• 제안된 방법은 KITTI 벤치마크에서 최신 기술 수준의 성능을 달성하여, 2위 3D 검출기보다 3% 이상 높은 평균 정확도(AP)를 기록하였으며, 2D 검출에서는 95.7% AP, 3D 검출에서는 85.4% AP, BEV 검출에서는 76.3% AP를 달성했다.
• 더 도전적인 TOR4D 벤치마크에서 모델은 보행자 및 자전거 기사의 BEV 검출 AP를 4.2% 향상시키며, 차량의 상대 오차를 깊이 복원과 조밀한 융합 덕분에 5% 이상 감소시켰다.
• 모델은 10 프레임 이상 매 초로 작동하여 자율 주행 응용 분야에 적합한 실시간 추론 능력을 입증했다.
• 제거 실험 결과, 특히 보행자 및 자전거와 같이 표현이 부족한 클래스에서 깊이 복원이 성능 향상에 크게 기여함을 확인하였으며, 이는 다중 작업 감독의 강화 덕분이었다.
• 예측된 깊이 맵을 활용한 조밀한 융합이 성능 향상에 상당한 기여를 하였으며, 특히 특징 맵 전반에 걸쳐 더 광범위하게 융합되는 차량의 경우 두드러진 성능 향상이 관찰되었다.
• F-PointNet에 비해 훈련 데이터의 1%만을 사용함에도 불구하고, 하드 2D 검출 설정에서 7% 이상 높은 AP를 기록하여, 공동 학습과 다중 센서 융합의 효과성을 입증했다.