[논문 리뷰] Online Initialization and Extrinsic Spatial-Temporal Calibration for Monocular Visual-Inertial Odometry

Weibo Huang, Hong Liu외 1명|arXiv (Cornell University)|2020. 04. 12.

Robotics and Sensor-Based Localization참고 문헌 39인용 수 5

한 줄 요약

이 논문은 단안 시각-자이로스코프 오도메트리(VIO)를 위한 온라인 초기화 및 외부 공간-시간 캘리브레이션 방법을 제안하며, 부트스트랩 과정 중 카메라-자이로스코프 시간 오프셋, 상대 자세, 초기 상태(스케일, 속도, 중력, 바이어스)를 동시 추정할 수 있도록 한다. 짧은 시간 동안의 운동 보간과 세 단계의 굵기에서 정밀도로의 최적화를 통해 정확한 캘리브레이션과 초기화를 달성하였으며, 공개 데이터셋에서 검증되어 VIO 성능 향상이 확인되었다.

ABSTRACT

This paper presents an online initialization method for bootstrapping the optimization-based monocular visual-inertial odometry (VIO). The method can online calibrate the relative transformation (spatial) and time offsets (temporal) among camera and IMU, as well as estimate the initial values of metric scale, velocity, gravity, gyroscope bias, and accelerometer bias during the initialization stage. To compensate for the impact of time offset, our method includes two short-term motion interpolation algorithms for the camera and IMU pose estimation. Besides, it includes a three-step process to incrementally estimate the parameters from coarse to fine. First, the extrinsic rotation, gyroscope bias, and time offset are estimated by minimizing the rotation difference between the camera and IMU. Second, the metric scale, gravity, and extrinsic translation are approximately estimated by using the compensated camera poses and ignoring the accelerometer bias. Third, these values are refined by taking into account the accelerometer bias and the gravitational magnitude. For further optimizing the system states, a nonlinear optimization algorithm, which considers the time offset, is introduced for global and local optimization. Experimental results on public datasets show that the initial values and the extrinsic parameters, as well as the sensor poses, can be accurately estimated by the proposed method.

연구 동기 및 목표

• 단안 VIO 시스템에서 정확하지 않은 초기 상태 추정과 잘못 정렬된 센서 데이터의 과제를 해결하기 위해.
• 오프라인 캘리브레이션 타겟이 필요 없이 온라인 실시간으로 외부 공간 및 시간 매개변수를 캘리브레이션할 수 있도록 하기 위해.
• 초기화 과정에서 메트릭 스케일, 중력, 속도, 자이로스코프 바이어스를 동시에 추정하여 VIO 정확도를 최초 단계부터 향상시키기 위해.
• 운동 보간을 활용하여 카메라 및 자이로스코프 스트림 간의 시간 오프셋을 보완함으로써 자세 추정 정확도를 향상시키기 위해.
• IMU 프리인테그레이션 및 특징 재투영 오차를 모두 고려한 안정적이고 점진적인 최적화 프레임워크를 개발하기 위해.

제안 방법

• 핵심 프레임 간에 각속도 및 선속도가 일정하다는 가정 하에, 임의의 타임스탬프에서 자세를 추정하기 위한 두 가지 단기 운동 보간 알고리즘—카메라 운동 보간 및 자이로스코프 운동 보간—을 제안한다.
• 세 단계의 굵기에서 정밀도로의 매개변수 추정 과정을 도입한다: 첫 번째 단계에서는 자전 차이 최소화를 통해 자세, 고속도 바이어스 및 시간 오프셋을 추정한다; 두 번째 단계에서는 스케일, 중력 및 변위를 근사한다; 세 번째 단계에서는 바이어스 및 중력 크기를 고려하여 모든 매개변수를 정밀하게 보정한다.
• 자세 추정 오차를 모델링하기 위해 리 대수와 지수 매핑 근사를 사용하여 외부 매개변수 및 바이어스 매개변수의 미분 가능 최적화를 가능하게 한다.
• 비선형 최적화 프레임워크를 적용하여 IMU 프리인테그레이션 오차와 특징 재투영 오차를 동시에 최소화하며, 시간 오프셋은 오차 함수에 명시적으로 모델링된다.
• 시간 오프셋, 고속도 바이어스 및 외부 자세 회전에 대해 자세 오차의 해석적 야코비안을 유도하여 효율적인 가우스-뉴턴 최적화를 가능하게 한다.
• 복잡한 자세 오차 항목을 선형화하기 위해 연관 및 BCH 근사를 활용하여 상대 자세 및 바이어스 변동에 대한 오차를 처리한다.

실험 결과

연구 질문

• RQ1 오프라인 캘리브레이션 없이 온라인 초기화가 단안 VIO에서 외부 공간-시간 매개변수 및 초기 상태(스케일, 속도, 중력, 바이어스)를 동시에 추정할 수 있는가?
• RQ2 운동 보간을 활용하여 시간 오프셋이 알려지지 않은 상태에서도 초기화 과정에서 카메라와 자이로스코프 간의 시간 오프셋을 효과적으로 보완할 수 있는가?
• RQ3 시간 오프셋과 바이어스를 忽시할 경우 VIO의 초기 상태 추정 정확도에 어떤 영향을 미치는가?
• RQ4 세 단계의 굵기에서 정밀도로의 추정 과정은 직접 최적화에 비해 초기화의 안정성과 수렴성을 향상시키는가?
• RQ5 공개 벤치마크에서 기존의 온라인 초기화 기법과 비교해 본다면, 제안된 방법은 정확도 및 수렴 속도 측면에서 어떤가?

주요 결과

• 제안된 방법은 외부 공간-시간 매개변수의 정확한 추정을 달성하였으며, 시간 오프셋 및 바이어스 보정이 초기화 정확도 향상에 크게 기여하였다.
• 세 단계 추정 과정은 스케일, 중력 및 변위에 대한 거친 추정치를 점진적으로 정밀한 값으로 개선함으로써 안정적이고 정확한 초기화를 가능하게 하였다.
• 일정 속도 가정 기반의 운동 보간은 알 수 없는 시간 오프셋이 존재하더라도 카메라와 자이로스코프 자세를 시간에 따라 신뢰성 있게 정렬하는 데 효과적인 방법을 제공하였다.
• 비선형 최적화 프레임워크는 IMU 프리인테그레이션 오차와 특징 재투영 오차를 효과적으로 최소화하여 일관되고 정확한 상태 추정을 이끌어냈다.
• 공개 데이터셋에서의 실험 결과, 제안된 방법은 초기화 정확도 및 강인성 측면에서 베이스라인 방법들을 능가하는 것으로 확인되었다.
• 이 방법은 최초 프레임부터도 고정밀도로 최적화 기반 VIO 시스템을 부트스트랩할 수 있도록 하여 드리프트를 감소시키고 장기 성능을 향상시켰다.