[논문 리뷰] Online Self-Calibration for Visual-Inertial Navigation Systems: Models, Analysis and Degeneracy

Yulin Yang, Patrick Geneva외 2명|arXiv (Cornell University)|2022. 01. 23.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 IMU 및 카메라 내부 파rameter, IMU-카메라 외부 파rameter, 시간 오프셋, 롤링 셔터 읽기 시간을 포함한 전체 센서 캘리브레이션을 수행하는 시각-자이로스코픽 항법 시스템(VINS)에 대한 종합적인 관측 가능성 분석 및 온라인 자기 캘리브레이션 프레임워크를 제시한다. 이는 IMU 및 카메라 내부 파ram터의 관측 가능성을 방해하는 열악한 운동 패턴을 규명하며, 운동이 완전히 자극되었을 때 온라인 캘리브레이션은 정확성과 강건성을 향상시킨다는 것을 입증한다. 특히 저가형 센서에서 두드러지며, 하지만 평면 운동이나 한 축 회전과 같은 부족한 구동 조건에서는 성능 저하의 위험이 있음을 시사한다.

ABSTRACT

In this paper, we study in-depth the problem of online self-calibration for robust and accurate visual-inertial state estimation. In particular, we first perform a complete observability analysis for visual-inertial navigation systems (VINS) with full calibration of sensing parameters, including IMU and camera intrinsics and IMU-camera spatial-temporal extrinsic calibration, along with readout time of rolling shutter (RS) cameras (if used). We investigate different inertial model variants containing IMU intrinsic parameters that encompass most commonly used models for low-cost inertial sensors. The observability analysis results prove that VINS with full sensor calibration has four unobservable directions, corresponding to the system's global yaw and translation, while all sensor calibration parameters are observable given fully-excited 6-axis motion. Moreover, we, for the first time, identify primitive degenerate motions for IMU and camera intrinsic calibration. Each degenerate motion profile will cause a set of calibration parameters to be unobservable and any combination of these degenerate motions are still degenerate. Extensive Monte-Carlo simulations and real-world experiments are performed to validate both the observability analysis and identified degenerate motions, showing that online self-calibration improves system accuracy and robustness to calibration inaccuracies. We compare the proposed online self-calibration on commonly-used IMUs against the state-of-art offline calibration toolbox Kalibr, and show that the proposed system achieves better consistency and repeatability. Based on our analysis and experimental evaluations, we also provide practical guidelines for how to perform online IMU-camera sensor self-calibration.

연구 동기 및 목표

• IMU 및 카메라 파라미터(내부 파ram터, 외부 파라미터, 시간 오프셋, 롤링 셔터 읽기 시간 포함)를 포함한 전체 캘리브레이션을 수행하는 VINS에 대한 완전한 관측 가능성 분석을 수행한다.
• 저가형 IMU의 다양한 관성 모델 변형(스케일 보정, 축 기울기, 중력 민감도 포함)을 조사한다.
• IMU 및 카메라 내부 파라미터의 관측 가능성을 방해하는 기본적인 열악한 운동 패턴을 규명한다. 특히 부족한 구동 조건을 가진 로봇 플랫폼에서 중요하다.
• 유럽 MAV 및 KAIST 시티 데이터셋에서의 EuRoC MAV 및 KAIST 도시 데이터셋을 이용한 광범위한 몬테카를로 시뮬레이션과 실제 실험을 통해 관측 가능성 및 열악한 조건 분석을 검증한다.
• 특히 자율 주행 및 항공 차량에 적용되는 실시간 VINS 응용 분야에서 온라인 자기 캘리브레이션을 구현하기 위한 실용적 지침을 제공한다.

제안 방법

• 선형화된 VINS에 대해 상태 전이 행렬과 시각적 측정 임계값을 분석적으로 유도한다. 이는 전체 캘리브레이션 파라미터를 포함한다.
• 선형화된 시스템에 대한 관측 가능성 분석을 수행하여 관측 불가능한 방향을 확인하며, 전역 요 yaw 및 전역 이동의 4개의 관측 불가능 모드가 있음을 확인한다.
• 관측 가능성 분석 프레임워크를 활용하여 IMU 및 카메라 내부 파라미터 캘리브레이션에 대한 기본적인 열악한 운동 패턴을 규명한다.
• 열악한 운동 패턴을 조합하여 복잡한 관측 불가능한 시나리오를 분석하며, 특히 제약 조건이 있는 로봇 운동에 관련성이 높다.
• 실시간 VINS 파이프라인에 온라인 자기 캘리브레이션을 구현하고, 실제 데이터셋에서 오프라인 캘리브레이션(Kalibr)과 비교한다.
• 몬테카를로 시뮬레이션과 실제 실험을 통해 이론적 결과를 검증하고, 다양한 운동 프로파일 하에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 전체 파ram터 캘리브레이션을 수행한 VINS에서 관측 불가능한 방향은 무엇이며, 이는 시스템 상태와 캘리브레이션 파라미터와 어떻게 관련되어 있는가?
• RQ2 어떤 운동 프로파일이 IMU 및 카메라 내부 파라미터의 관측 가능성을 방해하는 열악한 조건을 초래하는가?
• RQ3 운동 자극 조건이 다양한 상황에서 온라인 자기 캘리브레이션은 VINS의 정확성과 강건성에 어떤 영향을 미치는가? 특히 부족한 구동 조건을 가진 로봇 플랫폼에서의 영향을 묻는다.
• RQ4 온라인 캘리브레이션은 저가형 IMU 및 롤링 셔터 카메라의 성능을 향상시킬 수 있으며, 어떤 운동 조건에서 가장 유익한가?
• RQ5 실제 로봇 시스템에 온라인 자기 캘리브레이션을 구현하기 위해 도출할 수 있는 실용적 지침은 무엇인가?

주요 결과

• 관측 가능성 분석은 전체 파라미터 캘리브레이션 VINS가 전역 요 yaw 및 전역 이동 외에는 관측 불가능한 방향이 오직 4개 뿐이며, 6축 운동이 완전히 자극되었을 경우 모든 캘리브레이션 파라미터가 관측 가능하다는 것을 확인한다.
• 이 논문은 IMU 및 카메라 내부 파라미터의 관측 가능성을 방해하는 기본적인 열악한 운동 패턴을 처음으로 규명하며, 이러한 패턴의 조합이 관측 불가능성을 유지함을 보여준다.
• 운동이 완전히 자극되었을 경우 온라인 자기 캘리브레이션은 특히 저가형 IMU(예: Bosch BMI160)에서 시스템 정확성과 강건성을 크게 향상시킨다.
• 평면 운동이나 한 축 회전과 같은 부족한 구동 조건(지상 및 항공 차량에서 흔한 조건)에서는 온라인 IMU 내부 파라미터 캘리브레이션이 성능 저하를 초래할 수 있으며, 따라서 권장되지 않는다.
• 6자유도 운동이 가능한 수동 적용(예: 손으로 들고 사용하는 경우)은 온라인 캘리브레이션의 이점을 극대화하며, 특히 IMU 및 카메라 내부 파라미터 캘리브레이션에 유리하다.
• 온라인 환경에서는 특히 열악한 운동 조건에서 전체 모델을 캘리브레이션하기보다는 주로 중요한 IMU 파라미터(예: 오프셋 및 스케일)만 캘리브레이션하는 것이 바람직하다고 제안한다.