[논문 리뷰] LDSO: Direct Sparse Odometry with Loop Closure

Xiang Gao, Rui Wang외 2명|arXiv (Cornell University)|2018. 08. 03.

Robotics and Sensor-Based Localization참고 문헌 15인용 수 16

한 줄 요약

LDSO는 단일 카메라 SLAM에서 장기적인 드리프트를 줄이기 위해 직접 스퍼스 오도메트리 시스템 DSO에 루프 클로저 검출 및 포즈그래프 최적화를 통합함으로써 이를 확장한다. ORB 기반 기술을 사용해 반복 가능한 코너 특징을 선호하는 DSO의 점 선택 방식을 수정함으로써, 기존의 특징 기반 루프 검출에 필요한 반복 가능한 특징을 확보하고, 기하학적 Sim(3) 포즈 제약 조건 추정이 가능해져, 글로벌 번들 조정 없이도 최신 기술 수준의 특징 기반 시스템과 유사한 성능을 달성한다.

ABSTRACT

In this paper we present an extension of Direct Sparse Odometry (DSO) to a monocular visual SLAM system with loop closure detection and pose-graph optimization (LDSO). As a direct technique, DSO can utilize any image pixel with sufficient intensity gradient, which makes it robust even in featureless areas. LDSO retains this robustness, while at the same time ensuring repeatability of some of these points by favoring corner features in the tracking frontend. This repeatability allows to reliably detect loop closure candidates with a conventional feature-based bag-of-words (BoW) approach. Loop closure candidates are verified geometrically and Sim(3) relative pose constraints are estimated by jointly minimizing 2D and 3D geometric error terms. These constraints are fused with a co-visibility graph of relative poses extracted from DSO's sliding window optimization. Our evaluation on publicly available datasets demonstrates that the modified point selection strategy retains the tracking accuracy and robustness, and the integrated pose-graph optimization significantly reduces the accumulated rotation-, translation- and scale-drift, resulting in an overall performance comparable to state-of-the-art feature-based systems, even without global bundle adjustment.

연구 동기 및 목표

• 직접 스퍼스 오도메트리에서 누적되는 회전, 이동 및 스케일 오차로 인한 장기적 드리프트 문제를 해결한다.
• 기존에 반복 가능한 특징이 부족해 특징 기반 루프 검출이 어려운 DSO와 같은 완전히 직접적인 오도메트리 시스템에 루프 클로저 검출을 가능하게 한다.
• 특징이 부족한 환경에서도 DSO의 강건성을 유지하면서 전략적 점 선택을 통해 신뢰할 수 있는 루프 클로저를 실현한다.
• 기하학적 일관성과 함께 포즈그래프 최적화를 통합하여 글로벌 경로 및 지도 정확도를 향상시키며, 글로벌 번들 조정에 의존하지 않는다.
• 효율적인 루프 클로저를 통해 직접 오도메트리 시스템이 최신 기술 수준의 특징 기반 SLAM 시스템과 동등한 성능을 달성할 수 있음을 입증한다.

제안 방법

• 반복성이 높은 코너 특징을 선호하도록 DSO의 점 선택 전략을 수정하여, 다양한 시점 간의 일관된 특징 매칭을 보장한다.
• 선택된 코너 특징에서 ORB 기반 기술을 추출하여 기존의 백오브워즈(BoW) 기반 루프 클로저 검출을 가능하게 한다.
• 2D 및 3D 오차 최소화를 통한 기하학적 검증을 통해 Sim(3) 상대 포즈 제약 조건을 추정한다.
• DSO의 슬라이딩 윈도우 최적화에서 유도된 상호 가시성 그래프의 상대 포즈 정보와 검출된 Sim(3) 제약 조건을 융합한다.
• 융합된 제약 조건을 기반으로 포즈그래프 최적화를 수행하여 축적된 드리프트(회전, 이동, 스케일)를 보정한다.
• 기준 데이터셋에서 실제 경로와의 비교를 위해 트래잭터리 평가 및 오차 계산에 Sim(3) 정렬을 사용한다.

실험 결과

연구 질문

• RQ1 DSO와 같은 직접 스퍼스 오도메트리 시스템에 루프 클로저를 효과적으로 통합할 수 있을까? 이때 특징이 부족한 환경에서의 강건성은 유지되는가?
• RQ2 반복 가능한 특징 선택 전략의 통합이 직접 SLAM 시스템에서 루프 클로저 검출의 정확도와 일관성에 어떤 영향을 미치는가?
• RQ3 글로벌 번들 조정 없이 포즈그래프 최적화만으로도 단일 카메라 SLAM에서 글로벌 드리프트를 얼마나 효과적으로 줄일 수 있는가?
• RQ4 표준 벤치마크에서 ORB-SLAM2와 같은 최신 기술 수준의 특징 기반 SLAM 시스템과 비교해 LDSO의 정확도와 강건성은 어떠한가?
• RQ5 DSO 프론트엔드에 특징 추출 및 루프 클로저를 추가했을 때의 계산 오버헤드는 얼마이며, 실시간 운영에 적합한가?

주요 결과

• KITTI 시퀀스 00에서 LDSO는 DSO의 절대 경로 오차(ATE)를 126.7m에서 9.322m로 감소시켜 글로벌 번들 조정 없이도 ORB-SLAM2(8.27m)의 성능에 근접시켰다.
• EuRoC MAV 데이터셋에서 LDSO는 17회의 실행 중 12회에서 ORB-SLAM2보다 낮은 RMSE를 기록하여 도전적인 조건에서도 뛰어난 강건성을 입증했다.
• LDSO에서 수정된 점 선택 전략은 특징이 부족한 환경에서도 원래 DSO의 추적 정확도와 강건성을 유지함을 보여주었으며, 유사한 성능을 기록했다.
• 루프 클로저는 축적된 드리프트를 크게 줄였으며, TUM-Mono 및 KITTI 시퀀스에서의 시각화 결과로 볼 때 최적화 후 경로와 3D 점군이 훨씬 더 잘 일치함을 확인할 수 있었다.
• LDSO에서 특징 추출의 런타임 오버헤드는 매우 작다—키프레임당 0.0218초—키프레임에서만 처리되기 때문에 실시간 배포에 적합하다.
• Sim(3) 제약 조건을 활용한 포즈그래프 최적화는 스케일, 회전, 이동 드리프트를 효과적으로 보정하여 장시간 시퀀스에서도 글로벌 일관성 있는 지도를 생성했다.