[논문 리뷰] CubeSLAM: Monocular 3D Object Detection and SLAM without Prior Models

Shichao Yang, Sebastian Scherer|arXiv (Cornell University)|2018. 06. 01.

Robotics and Sensor-Based Localization참고 문헌 29인용 수 15

한 줄 요약

CubeSLAM은 사전 물체 모델 없이 카메라 자세, 3D 상자형 물체, 3D 점을 동시에 최적화하는 단안 3D 물체 검출 및 SLAM 시스템을 제안한다. 이는 2D 경계 상자와 퇀선점을 사용하여 상자형 후보를 생성하고 개선하며, 새로운 측정값을 적용한 다중 시점 백분할 조정을 통해 SUN RGB-D, KITTI, TUM 데이터셋에서 3D 검출 및 자세 추정 정확도를 향상시킨다.

ABSTRACT

We present a method for single image 3D cuboid object detection and multi-view object SLAM without prior object model, and demonstrate that the two aspects can benefit each other. For 3D detection, we generate high quality cuboid proposals from 2D bounding boxes and vanishing points sampling. The proposals are further scored and selected to align with image edges. Experiments on SUN RGBD and KITTI shows the efficiency and accuracy over existing approaches. Then in the second part, multi-view bundle adjustment with novel measurement functions is proposed to jointly optimize camera poses, objects and points, utilizing single view detection results. Objects can provide more geometric constraints and scale consistency compared to points. On the collected and public TUM and KITTI odometry datasets, we achieve better pose estimation accuracy over the state-of-the-art monocular SLAM while also improve the 3D object detection accuracy at the same time.

연구 동기 및 목표

• 사전 물체 모델에 의존하지 않는 단안 3D 물체 검출 및 SLAM 시스템을 개발하는 것.
• 다중 시점 SLAM의 기하 제약 조건을 활용하여 3D 물체 검출 정확도를 향상시키는 것.
• 3D 상자형 물체를 기하 제약 조건으로 통합하여 단안 SLAM의 자세 추정 정확도를 향상시키는 것.
• 물체 수준의 기하 사전 지식을 사용하여 단안 SLAM에서 척도 일관성을 확보하는 것.
• 공동 최적화를 통해 3D 검출과 SLAM 간 상호 보완적 향상을 입증하는 것.

제안 방법

• 2D 경계 상자와 퇀선점 샘플링을 기반으로 고품질의 상자형 후보를 생성하는 것.
• 이미지 에지와의 정렬을 통해 후보를 평가하고 개선하여 검출 품질을 향상시키는 것.
• 다중 시점 백분할 조정에 새로운 측정 함수를 도입하여 카메라 자세, 3D 물체, 3D 점을 동시에 최적화하는 것.
• 3D 상자형을 기하 제약 조건으로 활용하여 단안 SLAM의 척도 일관성을 향상시키고 드리프트를 감소시키는 것.
• 단일 시점 3D 검출 결과를 다중 시점 최적화의 입력으로 활용하는 것.
• 다중 시점 간 공동 최적화를 적용하여 동시에 검출 및 자세 추정 성능을 향상시키는 것.

실험 결과

연구 질문

• RQ1 2D 검출 및 퇌선점에서 유도된 3D 상자형 후보는 단안 3D 물체 검출 정확도를 향상시킬 수 있는가?
• RQ2 3D 상자형 물체는 단안 SLAM에서 기하 제약 조건과 척도 일관성을 어떻게 향상시키는가?
• RQ3 카메라 자세, 3D 물체, 3D 점의 공동 최적화는 검출 및 자세 추정 성능을 동시에 향상시킬 수 있는가?
• RQ4 사전 물체 모델의 부재는 성능을 제한하는가? 시스템은 여전히 최첨단 성능을 달성할 수 있는가?
• RQ5 기존의 단안 SLAM 및 3D 검출 방법과 비교하여 표준 벤치마크에서 제안된 방법은 어떻게 성능을 내는가?

주요 결과

• 기존 방법 대비 SUN RGB-D 및 KITTI 데이터셋에서 더 높은 3D 검출 정확도를 달성한다.
• TUM 및 KITTI 오도메트리 데이터셋에서 자세 추정 정확도가 최첨단 단안 SLAM 방법을 초월한다.
• 3D 상자형의 통합으로 단안 SLAM의 척도 일관성이 향상되고 드리프트가 감소한다.
• 물체, 점, 카메라 자세의 공동 최적화는 검출 및 정렬 성능 양면에서 상호 보완적 향상을 이끈다.
• 사전 물체 모델 없이도 효과적으로 작동하여 다양한 데이터셋에서 뛰어난 강건성과 일반화 능력을 입증한다.
• 백분할 조정에 도입된 새로운 측정 함수는 기하 일관성과 정확도를 크게 향상시킨다.