[논문 리뷰] Multimodal Virtual Point 3D Detection

Tianwei Yin, Xingyi Zhou외 1명|arXiv (Cornell University)|2021. 11. 12.

Advanced Optical Sensing Technologies인용 수 127

한 줄 요약

논문은 MVP를 소개하는데, 2D RGB 탐지들을 희소한 LiDAR 데이터를 보강하기 위해 Dense 3D 가상 포인트로 끌어올리는 플러그 앤 플레이 방식으로, 앙상블 없이 nuScenes에서 CenterPoint-Based 3D 탐지를 6.6 mAP 향상시킨다.

ABSTRACT

Lidar-based sensing drives current autonomous vehicles. Despite rapid progress, current Lidar sensors still lag two decades behind traditional color cameras in terms of resolution and cost. For autonomous driving, this means that large objects close to the sensors are easily visible, but far-away or small objects comprise only one measurement or two. This is an issue, especially when these objects turn out to be driving hazards. On the other hand, these same objects are clearly visible in onboard RGB sensors. In this work, we present an approach to seamlessly fuse RGB sensors into Lidar-based 3D recognition. Our approach takes a set of 2D detections to generate dense 3D virtual points to augment an otherwise sparse 3D point cloud. These virtual points naturally integrate into any standard Lidar-based 3D detectors along with regular Lidar measurements. The resulting multi-modal detector is simple and effective. Experimental results on the large-scale nuScenes dataset show that our framework improves a strong CenterPoint baseline by a significant 6.6 mAP, and outperforms competing fusion approaches. Code and more visualizations are available at https://tianweiy.github.io/mvp/

연구 동기 및 목표

• 자율 주행에서 LiDAR가 장거리에서 희박하고 RGB가 세부 정보가 풍부한 상황에서 3D 인식을 향상시키려는 동기.
• 2D 탐지로부터 유도된 Dense 가상 포인트로 LiDAR를 보강하는 간단하고 plug-and-play 융합 체계를 제안.
• 백본이 아닌 입력 특징 표현을 수정하여 기존 3D 탐 detectors와의 원활한 통합을 가능하게 함.
• Dense 가상 포인트가 작은 물체나 멀리 있는 물체의 탐지 정확도를 개선한다는 것을 대규모 데이터셋에서 보여준다.

제안 방법

• CenterNet2의 2D 인스턴스 마스크를 사용하여 탐지된 물체 j당 n τ 개의 가상 포인트를 생성한다.
• 각 2D 탐지에 대해 LiDAR 포인트를 RGB 카메라 프레임으로 프로젝션하여 각 2D 탐지에 대한 프러스텀 Fj를 형성한다.
• 각 인스턴스 마스크 내에서 τ개의 2D 포인트를 샘플하고 Fj 내의 가장 가까운 LiDAR 프로젝션으로부터 깊이를 할당한다.
• 샘플링된 포인트를 깊이를 사용해 3D로 역투영하고 물체의 의미 특성을 합쳐 가상 포인트를 형성한다.
• 실제 LiDAR 포인트와 가상 포인트를 연결하여 가상 포인트와 실제 포인트 특성을 각각 평균 내고 CenterPoint 스타일 백본에 입력하기 전에 연결한다.
• 선택적으로 표면 중심 특성을 활용한 2단계 개선을 사용하여 위치 추정 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 2D 탐지로부터 생성된 Dense 3D 가상 포인트가 도시 환경에서 LiDAR 기반 3D 탐지기를 의미 있게 향상시킬 수 있는가?
• RQ2 Ensembles나 TTA 없이 MVP가 기존 백본(VoxelNet, PointPillars) 및 탐지기(CenterPoint)와 어떤 상호 작용을 보여주는가?
• RQ3 2D 탐지 품질 및 깊이 추정 정확도 변화에 대해 MVP가 얼마나 견고한가?
• RQ4 nuScenes에서 물체 거리(근거리 vs 원거리) 및 물체 카테고리 전반에 걸쳐 어떤 이득이 얻어지는가?

주요 결과

• MVP는 nuScenes에서 강력한 CenterPoint 기반을 6.6 mAP 만큼 향상시킨다.
• MVP는 앙상블 없이 66.4 mAP 및 70.5 NDS를 달성하며, 제출 시 nuScenes에서 모든 비앤설롬 방법보다 우수하다.
• Dense 가상 포인트는 작은 물체에서 큰 이득을 준다(예: 작은 물체의 +11 mAP, Bicycle +20.6, motorcycle +16.3).
• 2D 전용 탐지기와 비교할 때 2D CenterNet은 2D 위치에서 CenterPoint보다 9.8 mAP 우수하여 3D 탐지에 고해상도 RGB 신호의 가치를 강조한다.
• 절삭 결과 가상 포인트만으로도 상당한 이득을 제공(VoxelNet에서 6.3 mAP, PointPillars에서 10.4 mAP); 2단계 개선은 추가로 향상(약 1.1 mAP, 약 0.8 NDS).
• KITTI에서 MVP가 가시적 이득을 제공(Car 0.5 mAP, Cyclist 2.3 mAP)으로 일반화 가능성을 보여준다.