[논문 리뷰] Structure Aware SLAM using Quadrics and Planes

Mehdi Hosseinzadeh, Yasir Latif외 3명|arXiv (Cornell University)|2018. 04. 24.

Robotics and Sensor-Based Localization참고 문헌 28인용 수 5

한 줄 요약

이 논문은 3D 점, 평면형 표면, 그리고 쌍곡형 형태의 물체(예: 테이블, 컵)를 단일 희박 비선형 최적화 프레임워크에 통합하는 구조 인식 SLAM 시스템을 제안한다. 물체를 타원형 쌍곡형으로 모델링하고 맨해튼 및 지지 조건을 적용함으로써 카메라 궤적 오차를 크게 감소시켜 TUM RGB-D 데이터셋에서 ORB-SLAM2 대비 최대 72.77% 향상된 ATE 성능을 달성한다.

ABSTRACT

Simultaneous Localization And Mapping (SLAM) is a fundamental problem in mobile robotics. While point-based SLAM methods provide accurate camera localization, the generated maps lack semantic information. On the other hand, state of the art object detection methods provide rich information about entities present in the scene from a single image. This work marries the two and proposes a method for representing generic objects as quadrics which allows object detections to be seamlessly integrated in a SLAM framework. For scene coverage, additional dominant planar structures are modeled as infinite planes. Experiments show that the proposed points-planes-quadrics representation can easily incorporate Manhattan and object affordance constraints, greatly improving camera localization and leading to semantically meaningful maps. The performance of our SLAM system is demonstrated in https://youtu.be/dR-rB9keF8M .

연구 동기 및 목표

• 기존 점 기반 SLAM 시스템에서의 의미 정보 부족 문제를 해결하여 조작과 같은 고수준 로봇 작업에 유용성을 제고한다.
• 평면 구조와 일반 물체 형태를 랜드마크로 통합함으로써 풍부한 기하학적 사전 지식을 갖춘 실시간 온라인 SLAM을 가능하게 한다.
• 희박 비선형 최적화 프레임워크에서 빠르고 효율적인 계산을 지원하는 쌍곡형을 이용한 3D 물체의 계산 효율적인 표현 방식을 개발한다.
• 맨해튼(수직 평면) 및 지지(물체-평면 접촉)와 같은 기하학적 제약 조건을 적용하여 카메라 자세 추정 정확도를 향상시킨다.
• 점, 평면, 쌍곡형을 제약 조건과 함께 통합함으로써 실내 환경에서 더 견고하고 의미적으로 유의미한 지ap을 생성할 수 있음을 입증한다.

제안 방법

• 물체 검출 결과를 바탕으로 일반 물체를 타원형 쌍곡형으로 표현하여 물체의 크기와 방향을 압축적이고 미분 가능한 방식으로 모델링한다.
• RGB-D 카메라의 깊이 데이터를 이용해 3D 점과 평면을 초기화하며, RANSAC 또는 유사 방법을 사용해 장면 내 평면 영역에 대해 평면을 피팅한다.
• SLAM의 비선형 최소 제곱 최적화 프레임워크 내에서 효율적이고 안정적인 업데이트가 가능한 새로운 쌍곡형 매개변수화 방식을 도입한다.
• 기하학적 제약 조건을 적용: 맨해튼 제약 조건(평면 간 수직성) 및 지지 제약 조건(쌍곡형과 지지 평면 간 접촉)을 통해 자세 추정 정확도를 향상시킨다.
• 모든 랜드마크(점, 평면, 쌍곡형)를 통합된 희박 비선형 최적화 문제에 통합하여 희소성의 이점을 활용해 실시간 성능를 확보한다.
• 기준 시스템으로 ORB-SLAM2를 활용하고, 제안된 지도 표현 및 제약 조건을 추가하여 성능 향상의 기여도를 분석할 수 있는 분석적 연구를 수행한다.

실험 결과

연구 질문

• RQ1 점 기반 또는 점-평면 기반 표현 대비 쌍곡형으로 일반 물체를 모델링하는 것이 실시간 SLAM 시스템에서 카메라 위치 추정 정확도 향상에 기여하는가?
• RQ2 특히 맨해튼 및 지지 제약 조건이 SLAM 최적화 프레임워크에 통합되었을 때 얼마나 효과적인가?
• RQ3 특징이 부족하거나 평면이 지배적인 실내 환경에서 평면과 쌍곡형을 모두 포함함으로써 궤적 이격 현상이 얼마나 감소하는가?
• RQ4 기존의 희박 비선형 최적화 파이프라인에 효율적으로 업데이트되고 통합될 수 있는가? 이에 따른 계산 비용 증가는 금기인가?
• RQ5 표준 벤치마크 데이터셋인 TUM RGB-D에서 제안된 시스템의 성능이 최신 기술 수준의 단안 SLAM(예: ORB-SLAM2)과 비교해 어떻게 되는가?

주요 결과

• 점, 평면, 쌍곡형에 맨해튼 및 지지 제약 조건을 적용한 제안된 시스템(PPQ+MS)은 TUM fr3/long_office 시퀀스에서 ATE를 51.07% 감소시켜 모든 테스트 구성 중 가장 큰 향상을 달성했다.
• 특징이 부족하고 도전적인 fr3/cabinet 시퀀스에서는 ORB-SLAM2 대비 ATE가 최대 72.77% 향상되어 쌍곡형 기반 물체 모델링의 가치를 입증했다.
• 맨해튼 제약 조건을 추가한 경우(PP+M)는 강한 평면 구조를 지닌 시퀀스에서 ATE를 최대 72.77%까지 감소시켜 기하학적 사전 지식이 궤적 추정 안정성에 크게 기여함을 보여주었다.
• 쌍곡형 없이도 점-평면 구성(PP)이 시퀀스 평균 기준 8.01%의 ATE 향상을 달성하여 평면 구조가 SLAM에서 유용함을 확인했다.
• 모든 아우터레이션 버전 중에서 전체 시스템(PPQ+MS)이 가장 뛰어난 성능을 보였으며, PQ(점과 쌍곡형만)와 비교해도 우수한 결과를 보여, 특히 제약 조건의 상호보완적 효과가 성능 향상의 핵심 요소임을 입증했다.
• 그림 7의 시각적 비교 결과, 제안된 시스템의 추정 궤적이 특히 장거리 루프 시퀀스인 fr3/long_office에서 실제 궤적과 밀도 높게 따라가며, 루프 클로징 성능이 풍부한 랜드마크 기하학적 특성 덕분에 향상됨을 확인할 수 있었다.