[논문 리뷰] Direct Monocular Odometry Using Points and Lines

Shichao Yang, Sebastian Scherer|arXiv (Cornell University)|2017. 03. 19.

Robotics and Sensor-Based Localization참고 문헌 21인용 수 7

한 줄 요약

이 논문은 텍스처가 없는 환경에서의 강인성을 향상시키기 위해 광학적 및 기하적 오차를 점과 선으로 융합하는 실시간 단안 시각 옵티컬 플로우 시스템을 제안한다. 확률적 프레임워크 내에서 강도 일관성과 선 정렬을 동시에 최적화함으로써, 최신 직접 방법 대비 도전적인 시나리오에서 상태 추정 오차가 50% 이상 감소한 결과를 도출하였다.

ABSTRACT

Most visual odometry algorithm for a monocular camera focuses on points, either by feature matching, or direct alignment of pixel intensity, while ignoring a common but important geometry entity: edges. In this paper, we propose an odometry algorithm that combines points and edges to benefit from the advantages of both direct and feature based methods. It works better in texture-less environments and is also more robust to lighting changes and fast motion by increasing the convergence basin. We maintain a depth map for the keyframe then in the tracking part, the camera pose is recovered by minimizing both the photometric error and geometric error to the matched edge in a probabilistic framework. In the mapping part, edge is used to speed up and increase stereo matching accuracy. On various public datasets, our algorithm achieves better or comparable performance than state-of-the-art monocular odometry methods. In some challenging texture-less environments, our algorithm reduces the state estimation error over 50%.

연구 동기 및 목표

• 광학적 오차만으로는 텍스처가 없거나 대trast가 낮은 환경에서 직접 단안 VO의 한계를 해결하기 위해.
• 선에서 유도된 기하적 제약 조건을 통합함으로써 조도 변화와 빠른 운동에 대한 강인성을 향상시키기 위해.
• 선을 정규화 요소로 활용하고 효율적인 스테레오 매칭을 수행함으로써 매핑 정확도와 속도를 향상시키기 위해.
• 트래킹 및 매핑에서 광학적 및 기하적 관측치를 최적화하여 융합하는 확률적 불확실성 모델을 개발하기 위해.
• 선 기반 최적화와 반밀도 깊이 추정을 통해 실시간 성능를 유지하면서도 고정확도를 확보하기 위해.

제안 방법

• 시스템은 SDVO와 유사하게 고기울기 픽셀을 사용하여 키프레임의 반밀도 깊이 맵을 유지한다.
• 각 프레임에서 강력한 에지 추출기를 사용하여 에지 검출을 수행하며, 선분은 기술자표를 사용해 프레임 간에 매칭한다.
• 트래킹 동안 카메라 자세는 강도 일관성(광학적 오차)과 선 재투영 오차(기하적 오차)를 조합한 공동 비용 함수를 최소화함으로써 최적화된다.
• 확률적 프레임워크는 광학적 및 기하적 관측치의 불확실성을 모델링하여 점과 선 측정치의 최적 융합을 가능하게 한다.
• 매핑 동안 매칭된 에지는 스테레오 매칭을 안내하여 검색 공간을 줄이고 분석적 에지 기반 정규화를 통해 깊이 맵 품질을 향상시킨다.
• 실시간 성능를 확보하기 위해 에지 기술자표와 검출을 최적화하였으며, 계산 시간을 분석하고, 다운샘플링 또는 더 빠른 검출기인 Edline을 통한 잠재적 성능 향상도 고려하였다.

실험 결과

연구 질문

• RQ1 에지 기반으로 광학적 오차와 기하적 오차를 융합함으로써 텍스처가 없는 환경에서 단안 VO 성능을 크게 향상시킬 수 있는가?
• RQ2 에지 제약 조건이 포함될 경우 수렴 영역과 조도 변화, 운동 흐림에 대한 강인성은 어떻게 영향을 받는가?
• RQ3 매핑 중 스테레오 매칭의 정확도와 속도는 어느 정도 향상될 수 있는가?
• RQ4 실시간 VO 시스템에서 광학적 및 기하적 관측치의 불확실성을 어떻게 확률적으로 모델링하고 융합할 수 있는가?
• RQ5 에지 기반 정규화는 직접 VO에서 반밀도 깊이 맵의 품질과 일관성을 향상시킬 수 있는가?

주요 결과

• ICL/office1 데이터셋에서 제안된 방법은 상대적 위치 오차를 1.85 cm/s로 줄였으며, 텍스처가 없는 환경에서 SDVO(1.33 cm/s)와 ORB-SLAM(X, 실패)를 모두 능가하였다.
• fr3/cabinet-big 시퀀스에서 시스템은 8.82 cm/s의 오차를 기록하여 SDVO의 16.23 cm/s 대비 45.6% 감소한 결과를 보였으며, 낮은 텍스처 환경에서 뛰어난 성능을 입증하였다.
• fr3/cabinet 시퀀스에서는 13.3 cm/s의 오차를 기록하여 SDVO의 21.7 cm/s보다 유의미하게 우수했으며, ORB-SLAM은 완전히 실패하였다.
• TUM fr3/cabinet_big 데이터셋에서 시스템은 약 20 Hz의 실시간 성능를 달성하였으며, 트래킹 시간은 19.23 ms, 프레임당 총 처리 시간은 51.95 ms였다.
• 에지 검출 및 기술자표 계산은 총 시간의 28.2%를 차지했으며(16.24 + 11.95 ms), 향후 최적화의 주요 병목 현상임을 시사하였다.
• 광학적 및 기하적 오차의 확률적 융합은 더 넓은 수렴 영역을 제공하여, 큰 운동이나 낮은 기울기 조건에서도 안정적인 최적화를 가능케 하였다.