[논문 리뷰] CLOCs: Camera-LiDAR Object Candidates Fusion for 3D Object Detection

Su Pang, Daniel Morris외 1명|arXiv (Cornell University)|2020. 09. 02.

Advanced Neural Network Applications참고 문헌 30인용 수 41

한 줄 요약

CLOCs는 NMS 이전에 후보 수준에서 2D 이미지 탐지와 3D LiDAR 탐지를 결합하는 빠른 레이트-퓨전 네트워크를 도입하여 KITTI에서 3D/BEV 탐지 성능을 향상시키고, 특히 원거리에서 향상시킨다.

ABSTRACT

There have been significant advances in neural networks for both 3D object detection using LiDAR and 2D object detection using video. However, it has been surprisingly difficult to train networks to effectively use both modalities in a way that demonstrates gain over single-modality networks. In this paper, we propose a novel Camera-LiDAR Object Candidates (CLOCs) fusion network. CLOCs fusion provides a low-complexity multi-modal fusion framework that significantly improves the performance of single-modality detectors. CLOCs operates on the combined output candidates before Non-Maximum Suppression (NMS) of any 2D and any 3D detector, and is trained to leverage their geometric and semantic consistencies to produce more accurate final 3D and 2D detection results. Our experimental evaluation on the challenging KITTI object detection benchmark, including 3D and bird's eye view metrics, shows significant improvements, especially at long distance, over the state-of-the-art fusion based methods. At time of submission, CLOCs ranks the highest among all the fusion-based methods in the official KITTI leaderboard. We will release our code upon acceptance.

연구 동기 및 목표

• 단일 모달리티 탐지기보다 향상된 3D 물체 탐지를 위해 다중 모달 융합을 고무한다.
• 원시 데이터가 아닌 탐지 후보를 활용하는 레이트-퓨전 아키텍처를 제안한다.
• 2D와 3D 탐지 간의 의존성을 학습하는 확률적이고 데이터 기반의 융합 모듈을 만든다.
• 메서드가 빠르고 메모리 사용이 작으며 일반적으로 사용되는 탐지기와 호환되도록 한다.
• KITTI에서 3D 및 BEV 지표 전반에 걸친 개선을 시연하되, 특히 장거리에서 강화합니다.

제안 방법

• NMS 이전에 2D 및 3D 탐지 후보를 융합하여 단일 모달리티의 실제 양성을 억제하지 않도록 한다.
• 2D와 3D 탐지 사이의 기하학적(IoU 이미지 평면 간) 및 의미론적(클래스, 점수) 관계를 인코딩하는 희소 텐서를 구성한다.
• 비어 있지 않은 텐서 요소를 소량의 1x1 컨볼루션으로 처리하여 융합 확률 맵을 생성한다.
• 클래스 불균형을 처리하기 위해 focal loss로 강화된 교차 엔트로피 손실로 융합 네트워크를 학습한다.
• 융합 성능을 향상시키기 위해 단일 모달리티 탐지기에 로그 가능도(log-likelihood) 기반 점수를 사용한다.
• 사전 재학습이 필요 없는 기존 탐지기에 대해 작동하며 표준 GPU에서 프레임당 대략 <3 ms의 낮은 지연을 제공합니다.

실험 결과

연구 질문

• RQ1 KITTI에서 2D 및 3D 탐지 후보의 레이트-퓨전이 단일 모달리티 탐지기보다 성능이 우수한가?
• RQ2 기하학적 IoU 및 의미론적 일관성을 포함시키는 것이 다중 모달 탐지 정확도를 향상시키는가?
• RQ3 KITTI 3D/BEV 벤치마크에서 다양한 2D/3D 탐지기와 융합될 때 CLOCs의 성능은 어떤가?
• RQ4 희소 텐서 표현과 1x1 컨볼루션 사용이 속도와 메모리에 미치는 영향은 무엇인가?
• RQ5 어떤 점수 표현식(log-likelihood 대 sigmoid)이 더 나은 융합 결과를 낳는가?

주요 결과

• CLOCs는 KITTI 검증에서 3D 및 BEV 지표 전반에서 다수의 융합 베이스라인을 향상시키며, 특히 원거리(40–50 m)에서 두드러진 개선을 보인다.
• IoU, 2D 점수, 3D 점수, 및 거리 채널을 사용하면 최상의 성능이 나오며, IoU 또는 3D 점수를 제거하면 성능이 저하된다.
• Focal loss와 로그-가능도 점수는 융합 입력에 대해 sigmoid 같은 대안보다 더 높은 성능을 보인다.
• Cascade R-CNN 및 PV-RCNN 등과의 융합은 KITTI 테스트/검증에서 융합 방법들 중 선두 또는 근접 선두의 성능을 달성한다.
• CLOCs는 데스크탑 GPU에서 프레임당 3 ms 미만의 추가 지연으로 빠른 추론을 유지한다.