[논문 리뷰] Online Temporal Calibration for Monocular Visual-Inertial Systems

Tong Qin, Shaojie Shen|arXiv (Cornell University)|2018. 08. 02.

Advanced Vision and Imaging인용 수 10

한 줄 요약

이 논문은 단안 시각-자이로스코픽 시스템을 위한 온라인 시간 캘리브레이션 방법을 제안하며, SLAM 프레임워크 내에서 시간 오프셋, 카메라 및 IMU 상태, 3D 특징 위치를 동시에 추정한다. 이 방법은 최대 30ms까지의 심각한 시간 이격 조건에서도 높은 정확도를 달성하며, 하드웨어 동기화가 필요 없고 시간 오프셋에 대한 사전 지식이 없더라도 실세계 시나리오에서 안정적인 성능을 보이며, 최신 기술 수준의 오프라인 도구를 능가한다.

ABSTRACT

Accurate state estimation is a fundamental module for various intelligent applications, such as robot navigation, autonomous driving, virtual and augmented reality. Visual and inertial fusion is a popular technology for 6-DOF state estimation in recent years. Time instants at which different sensors' measurements are recorded are of crucial importance to the system's robustness and accuracy. In practice, timestamps of each sensor typically suffer from triggering and transmission delays, leading to temporal misalignment (time offsets) among different sensors. Such temporal offset dramatically influences the performance of sensor fusion. To this end, we propose an online approach for calibrating temporal offset between visual and inertial measurements. Our approach achieves temporal offset calibration by jointly optimizing time offset, camera and IMU states, as well as feature locations in a SLAM system. Furthermore, the approach is a general model, which can be easily employed in several feature-based optimization frameworks. Simulation and experimental results demonstrate the high accuracy of our calibration approach even compared with other state-of-art offline tools. The VIO comparison against other methods proves that the online temporal calibration significantly benefits visual-inertial systems. The source code of temporal calibration is integrated into our public project, VINS-Mono.

연구 동기 및 목표

• 저비용, 자체 조립된 시각-자이로스코픽 시스템에서 카메라 및 IMU 센서 간의 시간 이격 문제를 해결하기 위해.
• 하드웨어 동기화나 시간 오프셋에 대한 사전 지식에 의존하지 않는 온라인 캘리브레이션 방법을 개발하기 위해.
• 실시간 구현을 위해 일반 최적화 기반 SLAM 프레임워크에 시간 캘리브레이션을 통합하기 위해.
• 시간 오프셋이 다양하게 변화하는 조건에서 온라인 캘리브레이션이 운동 추정 정확도를 크게 향상시킬 수 있음을 입증하기 위해.
• 더 넓은 보급과 재현 가능성을 위해 VINS-Mono에 오픈소스 통합을 제공하기 위해.

제안 방법

• 이 방법은 시간 오프셋을 추정할 수 있는 미지의 상수로 간주하여, 인자 그래프 최적화 프레임워크 내에서 카메라 자세, IMU 바이어스, 3D 특징 위치와 함께 온라인으로 추정한다.
• 시각-자이로스코픽 비용 함수에 시간 오프셋을 매개변수로 포함하는 새로운 인자를 도입함으로써, 다른 시스템 상태와 함께 동시 최적화를 가능하게 한다.
• 표준 시각 및 자이로스코픽 인자를 활용하지만, 측정 예측 및 잔차 계산 시 시간 오프셋을 고려하도록 확장한다.
• 시간 오프셋은 가우스-뉴턴 방법을 사용한 반복 최적화를 통해 추정되며, 실세계 실험에서 몇 초 내에 수렴한다.
• 기존의 기능 기반 시각-자이로스코픽 SLAM 시스템(예: VINS-Mono)과 호환되도록 모듈러하고 유연한 아키텍처로 설계되었다.
• 합성 시뮬레이션과 제어된 시간 오프셋을 가진 실세계 실험을 통해 방법의 유효성을 검증하였다.

실험 결과

연구 질문

• RQ1 알 수 없고 변화하는 시간 오프셋 조건에서 온라인 시간 캘리브레이션이 단안 시각-자이로스코픽 상태 추정의 정확도를 크게 향상시킬 수 있는가?
• RQ2 시간 오프셋 추정 정확도 측면에서 제안된 방법은 최신 기술 수준의 오프라인 캘리브레이션 도구와 비교해 어떻게 성능을 내는가?
• RQ3 온라인 시간 캘리브레이션은 실세계 운동 추정에서 시스템의 내구성과 드리프트 감소에 어느 정도 기여하는가?
• RQ4 제안된 방법은 아키텍처 변경 없이 기존 최적화 기반 시각-자이로스코픽 SLAM 프레임워크에 효과적으로 통합될 수 있는가?
• RQ5 실제 시나리오에서 시간 오프셋 추정은 어느 정도 빠르게 수렴하는가?

주요 결과

• 제안된 방법은 최대 30ms까지의 큰 오프셋 조건에서도 최신 기술 수준의 오프라인 도구와 유사한 시간 오프셋 캘리브레이션 정확도를 달성한다.
• 상대 자세 오차는 다양한 시간 오프셋(5ms 및 30ms) 조건에서도 거의 일정하게 유지되어 시간 이격에 대한 강건성을 입증한다.
• 반면, 시간 캘리브레이션 없이 OKVIS를 사용할 경우 시간 오프셋이 증가할수록 상대 자세 오차가著하게 증가하며, 30ms에서는 성능 저하 및 심지어 발산까지 발생한다.
• 실세계 실험에서 추정된 시간 오프셋은 몇 초 내에 안정된 값으로 수렴하며, 손으로 들고 테스트한 경우 측정된 오프셋은 12.74ms였다.
• 제안된 방법은 이동 및 회전 추정 모두에서 OKVIS를 능가하며, 시간이 지남에 따라 드리프트와 오차 증가가著하게 감소한다.
• VINS-Mono에 온라인 시간 캘리브레이션을 통합함으로써, 초기 시간 오프셋에 관계없이 일관된 성능을 확보할 수 있었으며, 실용적 유용성을 입증하였다.