[論文レビュー] PIVO: Probabilistic Inertial-Visual Odometry for Occlusion-Robust Navigation

Arno Solin, Santiago Cortés+2 more|arXiv (Cornell University)|Aug 2, 2017

Robotics and Sensor-Based Localization参考文献 41被引用数 38

ひとこと要約

PIVOは、順次的で不確実性を考慮したフレームワークを通じて、IMUと単眼カメラデータを完全に統合することにより、標準スマートフォンでも頑健で、遮蔽に強いナビゲーションを実現する確率的インertリアルビジョウメトリーシステムを提示する。クロス共分散を保持し、IMU駆動のダイナミクスと特徴の不確実性を考慮した視覚的更新を活用することで、カメラが長時間遮蔽されている間でさえも、正確でメトリックスケールのトラッキングを達成する。

ABSTRACT

This paper presents a novel method for visual-inertial odometry. The method is based on an information fusion framework employing low-cost IMU sensors and the monocular camera in a standard smartphone. We formulate a sequential inference scheme, where the IMU drives the dynamical model and the camera frames are used in coupling trailing sequences of augmented poses. The novelty in the model is in taking into account all the cross-terms in the updates, thus propagating the inter-connected uncertainties throughout the model. Stronger coupling between the inertial and visual data sources leads to robustness against occlusion and feature-poor environments. We demonstrate results on data collected with an iPhone and provide comparisons against the Tango device and using the EuRoC data set.

研究の動機と目的

• 長時間にわたるカメラの遮蔽中でも正確なトラッキングを維持できる頑健なビジョウメトリックスケールのインエアリアルビジョウメトリックスステムの開発。
• 低コストのスマートフォンセンサーを用いて、特徴が乏しいまたは遮蔽のある環境におけるカメラオンリーオドメトリの限界を克服すること。
• 外部センサーやループクロージャーに依存せずに、標準的なモバイルハードウェア上でメトリックスケールでドリフトのないトラッキングを実現すること。
• ポーズ間のクロス共分散を保持する順次推論フレームワークを定式化し、最適な不確実性伝搬を実現すること。
• iPhone 6などのコンsumerグレードデバイス上で、リアルタイム性能と頑健性を実証すること。

提案手法

• 線形化誤差以外の誤差要因を最小限に抑える離散時間IMU伝搬モデルを提案する。
• 現在のポーズと過去のポーズ間のクロス共分散を保持しながら、後続のポーズを補強する一連の線形カルマン更新を採用する。
• 推定された特徴点座標を統合して取り除く視覚的更新ステップを導入し、EKFフレームワーク内での近似誤差を線形化誤差のみに制限する。
• IMUが動的モデルを駆動し、視覚フレームが補強されたポーズ系列を結合するように、順次的推論スキームを適用する。
• 更新式におけるすべてのクロス項を確率的定式化することで、一次EKFの観点から最適な不確実性伝搬を保証する。
• 計算複雑度を時間に対して線形にスケーリングすることにより、モバイルハードウェア上でリアルタイム動作を実現するようにシステムを設計する。

実験結果

リサーチクエスチョン

• RQ1 確率的インエアリアルビジョウメトリックスステムは、スマートフォンセンサーのみを用いて、長時間にわたるカメラの遮蔽中でも頑健なトラッキングを達成できるか。
• RQ2 ポーズ間の完全なクロス共分散伝搬は、特徴が乏しいまたは遮蔽のある環境における頑健性をどのように向上させるか。
• RQ3 低コストIMUが、順次的推論フレームワーク内で単眼ビジョウと組み合わせることで、どの程度信頼できるメトリックスケールのトラッキングを提供できるか。
• RQ4 IMUと単眼カメラデータに依存するシステムは、困難な現実世界のシナリオにおいてカメラ中心のオドメトリを上回ることができるか。
• RQ5 ポーズ状態間での不確実性を保持することは、ポーズ推定値の共分散を無視する手法と比較して、性能にどのような影響を与えるか。

主な発見

• PIVOは、都市部および屋内環境を300メートル走破する経路において、iPhone 6上でも正確でメトリックスケールのトラジェクトリ推定を達成した。
• カメラがバッグや群衆に遮蔽されているような長時間の遮蔽中でも、一貫したスケールと低ドリフトを維持した。
• ベンチマーク結果では、MacBookラップトップ上で40フレームのトラックに平均0.079秒、20フレームのトラックに平均0.0052秒を要したため、リアルタイム実現可能性が示された。
• ORBSLAM2のようなカメラ中心の手法に比べ、PIVOは急激な運動、低テクスチャ、狭い視野角といった困難な条件下でも優れた性能を示した。
• ローリングシャッター、照明の変化、特徴の不足に対しても頑健であり、トラジェクトリのアライメントがストリートマップと強く一致した。
• 専用の深度センサーや外部キャリブレーションを必要とせず、標準スマートフォンハードウェアのみでTangoデバイスと同等の性能を達成した。