[논문 리뷰] Dual Quadrics from Object Detection BoundingBoxes as Landmark Representations in SLAM

Niko Sünderhauf, Michael Milford|arXiv (Cornell University)|2017. 08. 03.

Robotics and Sensor-Based Localization참고 문헌 22인용 수 15

한 줄 요약

이 논문은 인식 기반 SLAM에서 이중 쌍곡면을 3D 지점으로 사용하여, 2D 객체 검출 박스에서 직접적으로 그 매개변수를 제약하는 방법을 제안한다. 이는 단일 및 깊이 보정된 환경에서 로봇 자세와 쌍곡면 매개변수를 함께 최적화함으로써 궤적 및 지ap 정확도를 향상시키며, 사전 CAD 모델이나 타원 피팅이 필요 없이 객체 수준의 지점 기반 의미론적 SLAM을 가능하게 한다.

ABSTRACT

Research in Simultaneous Localization And Mapping (SLAM) is increasingly moving towards richer world representations involving objects and high level features that enable a semantic model of the world for robots, potentially leading to a more meaningful set of robot-world interactions. Many of these advances are grounded in state-of-the-art computer vision techniques primarily developed in the context of image-based benchmark datasets, leaving several challenges to be addressed in adapting them for use in robotics. In this paper, we derive a formulation for Simultaneous Localization And Mapping (SLAM) that uses dual quadrics as 3D landmark representations, and show how 2D bounding boxes (such as those typically obtained from visual object detection systems) can directly constrain the quadric parameters. Our paper demonstrates how to jointly estimate the robot pose and dual quadric parameters in factor graph based SLAM with a general perspective camera, and covers the use-cases of a robot moving with a monocular camera with and without the availability of additional depth information.

연구 동기 및 목표

• 기하학적 점 대신 객체 수준의 지점 기반 의미론적 SLAM을 가능하게 하여 로봇-세계 상호작용 능력을 향상시키기.
• 현대적 객체 검출 출력을 활용하여 더 rich한 세계 표현을 제공하지 못하는 SLAM 시스템의 격차를 메우기.
• Faster R-CNN이나 SSD와 같은 최신 검출기에서 유도된 2D 박스를 직접 사용하여 3D 지점의 매개변수를 설정하는 직접적이고 효율적인 방법 개발하기.
• 이중 쌍곡면을 일반적인 투시 카메라 SLAM 프레임워크에 통합하여 이전의 정사영 또는 사전 처리에 의존하는 방법의 한계를 피하기.
• 단일 및 깊이 보정된 환경에서 이중 쌍곡면 지점이 궤적 및 지도 정확도에 미치는 영향 평가하기.

제안 방법

• 형태, 크기, 위치, 방향을 압축적으로 표현할 수 있는 이중 쌍곡면으로 3D 객체 지점을 매개변수화하기.
• 2D 객체 검출 박스와 이중 쌍곡면 매개변수 사이의 닫힌 형태의 관계를 유도하여 인자 그래프 내에서 직접 제약 조건을 설정할 수 있도록 하기.
• 투시 투영 모델을 사용하여 로봇 자세와 이중 쌍곡면 매개변수를 함께 최적화하는 인자 그래프 기반 SLAM 시스템 구성하기.
• 객체 검출 결과를 인자 그래프의 요소로 통합하여 2D 박스 좌표뿐만 아니라, 깊이 센서로부터 유도된 상대 자세 관측값도 활용하기.
• 이중 쌍곡면 표현을 통해 단일 카메라 시퀀스에서 누적된 오도메트리 드리프트를 보정하고 루프 클로징을 가능하게 하기.
• 타원 피팅과 같은 사전 처리 단계를 피하고 박스에서 직접 쌍곡면을 추정함으로써 내성과 효율성 향상하기.

실험 결과

연구 질문

• RQ1 딥 러닝 모델에서 유도된 2D 객체 검출 박스를 직접적으로 SLAM에서 3D 이중 쌍곡면 지점 매개변수를 제약하는 데 사용할 수 있는가?
• RQ2 오도메트리 단독 추정 대비 이중 쌍곡면 지점을 사용할 경우 단일 카메라 SLAM에서 궤적 및 지도 정확도는 어떻게 향상되는가?
• RQ3 깊이 센서로부터의 상대 자세 관측값을 추가로 통합할 경우 이중 쌍곡면 기반 SLAM의 성능에 어떤 영향을 미치는가?
• RQ4 타원 피팅이나 정사영 카메라 가정이 필요한 이전 연구와 비교해 본다면 본 방법의 성능은 어떠한가?
• RQ5 이중 쌍곡면은 의미론적 SLAM에서 더 세밀한 3D 재구성 작업의 기준점으로 활용될 수 있는가?

주요 결과

• 이중 쌍곡면 매개변수와 로봇 자세를 함께 최적화하는 SLAM 솔루션은 궤적 오차를 크게 감소시키며, 단일 카메라 환경에서 평균 위치 RMSE를 5.31에서 1.75로 감소시킨다.
• 중앙값 위치 RMSE는 4.03에서 0.63으로 감소하여 지점 재관측을 통한 오도메트리 드리프트 보정이 효과적으로 이루어짐을 보여준다.
• 깊이 센서로부터의 상대 자세 관측값을 통합함으로써 성능이 추가로 향상되며, 평균 위치 RMSE는 1.75, 중앙값은 0.63으로 유지된다.
• 지점의 중앙값 오차는 2.86, 부피 오차 중앙값은 0.12로 나타나 객체의 크기 및 형태 추정이 정확함을 시사한다.
• 오직 노이즈가 많은 오도메트리만 존재하는 단일 카메라 모드에서도 시스템은 루프 클로징을 통해 궤적 오차를 보정함으로써 객체 기반 지점의 유용성을 입증한다.
• 평면 카메라 운동 조건에서는 시스템의 불안정성과 수렴 불량이 발생함을 확인하여, 이러한 경우에 대한 개선된 제약 조건 또는 초기화 방법이 필요함을 시사한다.