[논문 리뷰] Trifo-VIO: Robust and Efficient Stereo Visual Inertial Odometry using Points and Lines

Feng Zheng, Grace Tsai외 4명|arXiv (Cornell University)|2018. 03. 06.

Robotics and Sensor-Based Localization참고 문헌 29인용 수 5

한 줄 요약

Trifo-VIO는 저조도 또는 저텍스처 환경에서의 강인성을 향상시키기 위해 점 특징과 선 특징을 동시에 활용하는 밀착형 필터링 기반 스테레오 시각-자이로스코픽 오도메트리 시스템이다. 이는 전역 최적화 없이도 드리프트를 크게 감소시키는 가벼운 EKF 기반 루프 클로징 방법을 도입하여 슬라이딩 윈도우를 과거의 关건 프레임으로 최적으로 이동시키며, EuRoC 및 새로 공개된 Trifo Ironsides 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we present the Trifo Visual Inertial Odometry (Trifo-VIO), a tightly-coupled filtering-based stereo VIO system using both points and lines. Line features help improve system robustness in challenging scenarios when point features cannot be reliably detected or tracked, e.g. low-texture environment or lighting change. In addition, we propose a novel lightweight filtering-based loop closing technique to reduce accumulated drift without global bundle adjustment or pose graph optimization. We formulate loop closure as EKF updates to optimally relocate the current sliding window maintained by the filter to past keyframes. We also present the Trifo Ironsides dataset, a new visual-inertial dataset, featuring high-quality synchronized stereo camera and IMU data from the Ironsides sensor [3] with various motion types and textures and millimeter-accuracy groundtruth. To validate the performance of the proposed system, we conduct extensive comparison with state-of-the-art approaches (OKVIS, VINS-MONO and S-MSCKF) using both the public EuRoC dataset and the Trifo Ironsides dataset.

연구 동기 및 목표

• 점 특징이 실패하는 저텍스처 또는 동적 조명 환경에서 스테레오 시각-자이로스코픽 오도메트리의 강인성을 향상시키기 위해.
• 비용이 많이 드는 번들 조정 또는 포즈 그래프 최적화에 의존하지 않고 장기적인 드리프트를 줄일 수 있는 경량의 필터링 기반 루프 클로징 메커니즘을 개발하기 위해.
• 다양한 운동 및 텍스처 조건에서 VIO 시스템을 평가하기 위해 새로운 고정밀 동기화 스테레오 카메라 및 자이로스코프(IMU) 데이터셋(Trifo Ironsides)을 제안하기 위해.
• 점과 선을 모두 활용하는 밀착형 필터링 기반 VIO가 최신 최적화 기반 방법과 비교해 유사하거나 더 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 시스템은 슬라이딩 윈도우 내에서 스테레오 점 특징과 선 특징을 동시에 처리하기 위해 다중 상태 제약 칼만 필터(MSCKF)를 활용하며, 특징 수에 비례하는 선형 계산 비용을 유지한다.
• 선 특징은 에지 검출을 통해 추출되며, 선분으로 피팅된 후 상태 추정 과정에 통합되어 특징이 부족한 상황에서 운동 제약을 향상시킨다.
• 새로운 루프 클로징 기법은 EKF 업데이트로 구성되며, 탐지된 루프 클로징 관건 프레임으로 현재 슬라이딩 윈도우를 최적으로 이동시켜 전역 최적화 없이도 드리프트를 최소화한다.
• 시각적 측정과 관성 측정이 밀착형 필터링 프레임워크에서 측정 수준에서 통합되어 실시간 정확도 높은 상태 추정이 가능하다.
• Trifo Ironsides 데이터셋은 고정밀 6축 로봇 암에 장착된 동기화된 스테레오 카메라와 IMU를 사용해 촬영되었으며, 밀리미터 수준의 정밀한 지상 진실값을 제공한다.
• 모든 구성 요소—점 및 선 특징 추적, 상태 추정, 루프 클로징—은 일관성과 효율성을 위해 단일 EKF 프레임워크 내에서 통합되어 있다.

실험 결과

연구 질문

• RQ1 선 특징의 통합이 저텍스처 또는 조명이 어려운 환경에서 스테레오 VIO의 강인성을 크게 향상시킬 수 있는가?
• RQ2 경량의 필터링 기반 루프 클로징 방법이 전역 번들 조정 또는 포즈 그래프 최적화에 의존하지 않고도 장기적인 드리프트를 효과적으로 줄일 수 있는가?
• RQ3 점과 선을 모두 활용하는 밀착형 필터링 기반 VIO는 최신 최적화 기반 VIO 시스템과 정확도 및 효율성 측면에서 어떻게 비교되는가?
• RQ4 새로운 Trifo Ironsides 데이터셋이 다양한 운동 프로파일과 환경 조건에서 VIO 시스템의 더 신뢰할 수 있는 평가를 얼마나 잘 가능하게 하는가?

주요 결과

• Trifo-VIO는 EuRoC 데이터셋에서 OKVIS, VINS-MONO, S-MSCKF를 모두 능가하는 절대 궤적 RMSE 성능을 기록하며 최신 기술 수준을 달성했다.
• Trifo Ironsides 데이터셋에서 Trifo-VIO는 일관되게 상위 두 개 이내의 성능을 기록했으며, 특히 고속 운동과 저텍스처를 특징으로 하는 가장 도전적인 시퀀스(PI_3058)에서 뛰어난 성능을 보였다.
• 선 특징의 사용 덕분에 Trifo-VIO는 OKVIS와 같이 점 특징만을 사용하는 방법이 실패하는 저텍스처 또는 반복적인 텍스처 환경에서도 안정적인 추적을 유지할 수 있었다.
• 제안된 EKF 기반 루프 클로징 방법은 누적된 드리프트를 효과적으로 감소시켰으며, 고비용 최적화 없이도 경량의 필터 기반 루프 클로징이 상당한 드리프트 감소를 달성할 수 있음을 입증했다.
• Trifo Ironsides 데이터셋은 고정밀 밀리미터 수준의 지상 진실값을 제공하며, 다양한 운동 프로파일과 환경 조건에서 VIO 시스템 평가에 적합하다.
• Trifo-VIO는 스테레오 또는 시간적 데이터의 프레임 손실에 대해 강인하며, EuRoC의 문제적 V2_03 시퀀스에서 OKVIS가 실패하는 상황에서도 안정적인 성능을 보였다.