[논문 리뷰] PointFusion: Deep Sensor Fusion for 3D Bounding Box Estimation

Danfei Xu, Dragomir Anguelov외 1명|arXiv (Cornell University)|2017. 11. 29.

3D Surveying and Cultural Heritage참고 문헌 32인용 수 55

한 줄 요약

PointFusion은 이미지와 원시 3D 포인트 클라우드 데이터를 이질적 네트워크(PointNet + CNN)와 Dense fusion predictor로 결합하여 3D 경계 상자를 추정하며, 데이터셋 특이 튜닝 없이 KITTI와 SUN-RGBD에서 경쟁력 있는 결과를 달성합니다.

ABSTRACT

We present PointFusion, a generic 3D object detection method that leverages both image and 3D point cloud information. Unlike existing methods that either use multi-stage pipelines or hold sensor and dataset-specific assumptions, PointFusion is conceptually simple and application-agnostic. The image data and the raw point cloud data are independently processed by a CNN and a PointNet architecture, respectively. The resulting outputs are then combined by a novel fusion network, which predicts multiple 3D box hypotheses and their confidences, using the input 3D points as spatial anchors. We evaluate PointFusion on two distinctive datasets: the KITTI dataset that features driving scenes captured with a lidar-camera setup, and the SUN-RGBD dataset that captures indoor environments with RGB-D cameras. Our model is the first one that is able to perform better or on-par with the state-of-the-art on these diverse datasets without any dataset-specific model tuning.

연구 동기 및 목표

• 다양한 센서와 환경에서 데이터셋 특이 튜닝 없이 작동하는 일반적인 3D 물체 탐지 접근법을 제안한다.
• 이질적 네트워크를 사용하여 이미지 특징과 원시 포인트 클라우드 데이터를 융합하는 아키텍처를 제안한다.
• 공간 앵커를 이용한 Dense fusion 메커니즘을 도입하여 3D 박스 모서리를 예측하고 최적의 가설을 선택한다.

제안 방법

• 이미지 크롭을 CNN으로 처리하여 Appearance/geometry 특징을 추출한다.
• 원시 3D 포인트 클라우드를 PointNet 변형으로 처리하여 포인트별 및 글로벌 특징을 얻는다.
• 융합 네트워크를 통해 이미지와 포인트 특징을 융합하여 3D 경계 상자를 예측한다.
• 두 가지 융합 변형을 사용: 8개의 박스 코너의 글로벌 회귀기와 입력 3D 포인트에 대한 코너 오프셋을 예측하는 dense fusion를 사용한다.
• 입력 포인트마다 학습 가능한 점수와 함께 코너 오프셋 예측을 하는 Dense Spatial Anchor 접근법을 적용하고 최적의 예측을 선택한다.
• 코너 위치에 대한 회귀 손실을 적용하고 공간 변환 정규화를 포함하며 포인트 선택을 위한 지도학습 및 비지도 학습 점수화를 탐색한다.

실험 결과

연구 질문

• RQ1 자동차, 보행자, 자전거 등 다양한 객체 카테고리에 대해 센서에 독립적인 일반 융합 모델이 outdoor(KITTI)과 indoor(SUN-RGBD) 데이터셋에서 경쟁력 있는 3D 물체 탐지를 달성할 수 있는가?
• RQ2 스페이셜 앵커를 사용하는 Dense fusion 아키텍처가 전통적인 글로벌 코너 회귀보다 3D 박스 추정에서 우수한가?
• RQ3 이미지 데이터와 원시 포인트 클라우드를 융합하는 것이 서로 모드만 사용하는 것과 비교하여 다양한 객체 카테고리에서 어떤 차이를 보이는가(자동차, 보행자, 자전거 등)?
• RQ4 최고 Dense 예측을 선택하기 위한 지도 학습 대 비지도 학습 스코어링의 영향은 무엇인가?

주요 결과

• Dense fusion과 이미지+포인트 입력을 사용하는 PointFusion은 KITTI와 SUN-RGBD에서 여러 클래스에 대해 LiDAR만 기반 대비 지속적으로 더 나은 성능을 보인다.
• 공간 앵커(포인트를 앵커로 사용하는) Dense fusion은 직접 코너 회귀에 비해 3D 박스 회귀를 크게 개선한다.
• 최고의 가설을 선택하기 위한 비지도 스코어링은 여러 설정에서 지도 학습 스코어링보다 더 나은 성능을 내는 경우가 많다.
• 이 방법은 KITTI(자동차, 보행자, 자전거)와 SUN-RGBD에서 10–19개의 카테고리에서 경쟁력 있는 AP3D를 달성하며, 종종 최첨단 방법을 능가하거나 대등하며 계산 효율도 좋다.
• RGB 데이터를 LiDAR 유사 포인트 클라우드와 융합할 때 깊이 포인트가 희박한 소형 객체(보행자, 자전거)에서 가장 큰 이점을 얻는다.