[논문 리뷰] Cross-Modality 3D Object Detection

Ming Zhu, Chao Ma외 2명|arXiv (Cornell University)|2020. 08. 16.

Robotics and Sensor-Based Localization참고 문헌 31인용 수 4

한 줄 요약

이 논문은 이점망 이미지와 원시 LiDAR 포인트 클라우드를 융합하여 정확도를 향상시키는 이단계 다중모달 3D 객체 검출 프레임워크를 제안한다. 포인트별 특징 융합, 2D-3D 쌍방향 손실, 그리고 가짜-LiDAR 포인트 증강을 통해 희소한 포인트 클라우드 표현을 향상시키며, KITTI 데이터셋에서 먼 거리에 있는 객체와 가림을 입은 객체에 특히 뛰어난 최신 기술 성능을 달성한다.

ABSTRACT

In this paper, we focus on exploring the fusion of images and point clouds for 3D object detection in view of the complementary nature of the two modalities, i.e., images possess more semantic information while point clouds specialize in distance sensing. To this end, we present a novel two-stage multi-modal fusion network for 3D object detection, taking both binocular images and raw point clouds as input. The whole architecture facilitates two-stage fusion. The first stage aims at producing 3D proposals through sparse point-wise feature fusion. Within the first stage, we further exploit a joint anchor mechanism that enables the network to utilize 2D-3D classification and regression simultaneously for better proposal generation. The second stage works on the 2D and 3D proposal regions and fuses their dense features. In addition, we propose to use pseudo LiDAR points from stereo matching as a data augmentation method to densify the LiDAR points, as we observe that objects missed by the detection network mostly have too few points especially for far-away objects. Our experiments on the KITTI dataset show that the proposed multi-stage fusion helps the network to learn better representations.

연구 동기 및 목표

• 3D 객체 검출에서 희소하고 균일하지 않은 분포를 보이는 LiDAR 포인트 클라우드의 과제를 해결한다.
• 풍부한 의미 정보를 지닌 이미지와 정밀한 깊이 정보를 지닌 LiDAR의 상호보완적 강점을 활용하여 3D 정렬을 향상시킨다.
• 다양한 단계에서 다중모달 특징을 융합하여 단일 모odal 검출의 한계를 극복한다.
• 희소 포인트 클라우드로 인해 영향을 받는 먼 거리에 있는 객체와 가림을 입은 객체의 검출 성능을 향상시킨다.
• 가짜-LiDAR 포인트를 사용한 데이터 증강 전략을 개발하여 실제 포인트 클라우드의 희소성을 해소한다.

제안 방법

• 보간화나 투영 없이 원시 LiDAR 포인트 클라우드에서 직접 3D 표현을 학습하기 위해 PointNet++를 활용한다.
• 이중 이미지에서 분류 가능한 2D 특징 맵을 추출하기 위해 수정된 ResNet-50에 FPN을 사용한 이미지 백본을 적용한다.
• 동시에 2D 및 3D 분류와 회귀를 가능하게 하는 공동 앵커 메커니즘을 도입하여 개선된 3D 제안 생성을 달성한다.
• 2D 검출 제약 조건을 3D 제안과 연결하기 위해 2D-3D 재투영 손실을 적용하여 교차 모달 감독을 통해 제안 품질을 향상시킨다.
• 제안 영역 내에서 밀도 높은 2D 및 3D 특징을 융합하기 위해 RoI별 특징 융합을 수행하여 강력한 표현 학습을 구현한다.
• 스테레오 매칭에서 유도된 가짜-LiDAR 포인트 클라우드를 생성하고, 실제 포인트 클라우드에 적응적으로 자르고 추가함으로써 데이터 증강 수 Mittel로 활용한다.

실험 결과

연구 질문

• RQ1 이중 단계 융합 프레임워크는 2D 이미지 의미 정보와 3D LiDAR 기하학을 효과적으로 융합하여 3D 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 2D 및 3D 예측 간 일관성을 강제하는 2D-3D 쌍방향 손실이 제안 품질과 최종 검출 정확도에 어떤 영향을 미치는가?
• RQ3 이중 이미지에서 유도된 가짜-LiDAR 포인트가 먼 거리 객체 검출에서 희소성 문제를 어느 정도 완화할 수 있는가?
• RQ4 다중모달 특징을 RoI별로 융합하는 것이 조기 또는 후기 융합보다 더 강력하고 정확한 3D 경계 상자 예측을 이끌 수 있는가?
• RQ5 제안된 방법은 KITTI와 같은 표준 벤치마크에서 기존의 단일 모달 또는 단일 단계 융합 접근법을 능가할 수 있는가?

주요 결과

• 제안된 방법은 KITTI 3D 객체 검출 벤치마크에서 최신 기술 성능을 달성하였으며, 차량의 중간 난이도 셋에서 3D AP가 86.80%를 기록하였다.
• 2D-3D 쌍방향 손실은 3D 제안을 2D 검출에 맞추어 일치시킴으로써 잘못 예측된 객체 수(IoU=0)를 감소시켜 정렬 일관성을 향상시켰다.
• 재투영 손실 적용 후 모든 난이도 수준에서 제안 재현율이 크게 향상되었으며, 특히 어려운 예제에서 두드러진다.
• 가짜-LiDAR 포인트 융합은 어려운 및 중간 난이도 클래스에서 성능 향상을 이끌었으며, 실제 포인트 클라우드에서 자르기 전 가짜 포인트를 사용할 경우 어려운 차량 셋에서 2.09%의 AP 향상을 기록했다.
• 가짜-LiDAR 증강으로 인한 포인트 클라우드 밀도 향상 덕분에 먼 거리에 있는 객체와 가림을 입은 객체 검출에서 특히 뛰어난 성능을 보였다.
• 절단 실험을 통해 공동 앵커 메커니즘과 가짜-LiDAR 증강이 성능 향상에 기여하며, 특히 희소 영역에서 후자가 가장 효과적임을 확인했다.