[論文レビュー] Online Temporal Calibration for Monocular Visual-Inertial Systems

Tong Qin, Shaojie Shen|arXiv (Cornell University)|Aug 2, 2018

Advanced Vision and Imaging被引用数 10

ひとこと要約

本稿では、モノクローラルビジュアルインertialシステムにおけるオンライン時間遅延補正手法を提案する。この手法は、SLAMフレームワーク内において、時間遅延、カメラおよびIMUの状態、3次元特徴点位置を同時に推定する。本手法は、最大30msの顕著な時間ずれに対しても高い精度を達成し、ハードウェア同期化を必要とせず、時間遅延の事前知識も不要であるため、実世界のシナリオにおいても安定した性能を発揮する。

ABSTRACT

Accurate state estimation is a fundamental module for various intelligent applications, such as robot navigation, autonomous driving, virtual and augmented reality. Visual and inertial fusion is a popular technology for 6-DOF state estimation in recent years. Time instants at which different sensors' measurements are recorded are of crucial importance to the system's robustness and accuracy. In practice, timestamps of each sensor typically suffer from triggering and transmission delays, leading to temporal misalignment (time offsets) among different sensors. Such temporal offset dramatically influences the performance of sensor fusion. To this end, we propose an online approach for calibrating temporal offset between visual and inertial measurements. Our approach achieves temporal offset calibration by jointly optimizing time offset, camera and IMU states, as well as feature locations in a SLAM system. Furthermore, the approach is a general model, which can be easily employed in several feature-based optimization frameworks. Simulation and experimental results demonstrate the high accuracy of our calibration approach even compared with other state-of-art offline tools. The VIO comparison against other methods proves that the online temporal calibration significantly benefits visual-inertial systems. The source code of temporal calibration is integrated into our public project, VINS-Mono.

研究の動機と目的

• 低価格で自作可能なビジュアルインertialシステムにおける、カメラとIMUセンサ間の時間的ずれという重要な問題に対処すること。
• ハードウェア同期化や時間遅延の事前知識に依存しないオンライン補正手法を開発すること。
• リアルタイムでの実装を可能にする一般化された最適化ベースのSLAMフレームワークに時間遅延補正を統合すること。
• 時間遅延が変動する状況下でも、オンライン補正が運動推定の精度を顕著に向上させることを示すこと。
• 広範な採用と再現可能性を図るため、VINS-Monoへのオープンソース統合を提供すること。

提案手法

• 本手法は、時間遅延を推定すべき未知定数として定式化し、要因グラフ最適化フレームワーク内でカメラの姿勢、IMUバイアス、3次元特徴点位置とともにオンラインで推定する。
• 視覚的・インertシャルなコスト関数に時間遅延をパラメータとして組み込む新しい要因を導入し、他のシステム状態と同時に最適化可能にする。
• 標準的な視覚的およびインエラシャル要因を用いるが、測定予測および残差計算時に時間遅延を考慮するように拡張する。
• 時間遅延は、ガウス・ニュートン法を用いた反復的最適化により推定され、実世界の実験では数秒で収束する。
• 既存の特徴ベースのビジュアルインエラシャルSLAMシステム（例：VINS-Mono）と互換性があり、モジュラー構造となっている。
• 合成シミュレーションおよび制御された時間遅延を有する実世界実験を通じて、本手法の有効性を検証した。

実験結果

リサーチクエスチョン

• RQ1 未知かつ変動する時間遅延下でも、オンライン時間遅延補正がモノクローラルビジュアルインエラシャル状態推定の精度を顕著に向上させることができるか？
• RQ2 時間遅延推定精度の観点から、本手法は最先端のオフライン補正ツールと比較してどのように差をつけるか？
• RQ3 オンライン時間遅延補正は、実世界の運動推定におけるシステムの耐障害性をどの程度向上させ、ドリフトをどの程度低減するか？
• RQ4 本手法は、アーキテクチャの変更なしに、既存の最適化ベースのビジュアルインエラシャルSLAMフレームワークに効果的に統合可能か？
• RQ5 実用的シナリオにおいて、時間遅延推定はどの程度の速さで収束するか？

主な発見

• 最大30msの大きな時間遅延下でも、本手法は最先端のオフラインツールと同等の時間遅延補正精度を達成する。
• 相対姿勢誤差は、時間遅延が5msおよび30msの両状況下でもほぼ一定であり、時間的ずれに対して高い耐性を示す。
• 時間遅延補正なしのOKVISでは、時間遅延が増加するにつれて相対姿勢誤差が顕著に増加し、30msでは性能劣化および発散を示す。
• 実世界の実験では、時間遅延推定が数秒で安定値に収束し、ハンドヘルドテストでは12.74msの測定値が得られた。
• 本手法は、変位および回転推定の両面でOKVISを上回り、時間の経過とともにドリフトと誤差の増大が著しく低減される。
• VINS-Monoへのオンライン時間遅延補正の統合により、初期の時間遅延にかかわらず一貫した性能が得られ、実用的価値が裏付けられた。