[論文レビュー] Stereo Visual Inertial Pose Estimation Based on Feedforward-Feedback Loops

Shengyang Chen, Chih‐Yung Wen+2 more|arXiv (Cornell University)|Jul 5, 2020

Robotics and Sensor-Based Localization参考文献 40被引用数 8

ひとこと要約

本論文では、フィードフォワードおよびフィードバックループを用いて融合プロセスを制御系としてモデル化する、新しいステレオ視覚・慣性結合ポーズ推定システムFLVISを提案する。フロントエンド処理をバックエンド最適化から分離し、勾配ベースのフィルタリング、バイアス補正、IIRベースのランドマーク追跡を採用することで、埋め込みプラットフォーム上でも高い精度とリアルタイム性能を達成した。低消費電力CPU上では67 FPSを達成し、屋内飛行テストにおける無人航空機（UAV）では0.2mのATEを達成した。

ABSTRACT

In this paper, we present a novel stereo visual inertial pose estimation method. Compared to the widely used filter-based or optimization-based approaches, the pose estimation process is modeled as a control system. Designed feedback or feedforward loops are introduced to achieve the stable control of the system, which include a gradient decreased feedback loop, a roll-pitch feed forward loop and a bias estimation feedback loop. This system, named FLVIS (Feedforward-feedback Loop-based Visual Inertial System), is evaluated on the popular EuRoc MAV dataset. FLVIS achieves high accuracy and robustness with respect to other state-of-the-art visual SLAM approaches. The system has also been implemented and tested on a UAV platform. The source code of this research is public to the research community.

研究の動機と目的

• UAVにおける限られた計算リソース下でのリアルタイムで高精度な視覚・慣性結合ポーズ推定の課題に対処すること。
• 従来のフィルターや最適化に基づく視覚・慣性SLAMにおける計算ボトルネックを解消するため、融合プロセスを制御系として再考すること。
• フロントエンド処理をバックエンド最適化から分離することで、埋め込みシステムにおける速度とスケーラビリティを向上させること。
• キーフレームベースのトラッキングに依存せずに高い精度と耐障害性を実現し、処理を高速化すること。
• 公的データセットおよび実際のUAVプラットフォーム上で、最小限のドリフトでリアルタイム性能と高精度を実証すること。

提案手法

• フィードフォワードおよびフィードバックループを用いて、視覚・慣性結合融合プロセスを制御系としてモデル化し、ポーズ推定の安定化を図る。
• IMUデータからのリアルタイムで頑健な姿勢推定を実現するため、1ステップの勾配ベースフィルタ（Madgwickフィルタ）を統合する。
• IMUで予測したポーズをフロントエンドのフレーム内バンドル調整におけるフィードフォワード補正として使用し、初期推定値の品質を向上させる。
• バイアス推定のフィードバックループを実装し、IMUバイアスを補正してIMU予測モデルにフィードバックする。
• 無限インパルス応答（IIR）フィルタを適用して、時間経過に伴うランドマークの距離および位置推定を安定的かつ高精度に維持する。
• キーフレームメッセージの送信のみを介してフロントエンドとバックエンドを分離することで、フロントエンドが独立して高速に動作可能となるようにする。

実験結果

リサーチクエスチョン

• RQ1 フィードフォワードおよびフィードバックループを用いた制御系にインspiredしたフレームワークは、従来のフィルターや最適化に基づく視覚・慣性結合融合を上回る精度とリアルタイム性能を達成できるか？
• RQ2 キーフレーム補正を用いたフロントエンドとバックエンドの分離は、埋め込みシステムにおける処理速度とスケーラビリティをどのように向上させるか？
• RQ3 勾配ベースのフィルタとIIRベースのランドマークトラッキングは、ポーズ推定の安定性と精度をどの程度向上できるか？
• RQ4 限られた計算リソース下でも、実世界のUAV飛行において、高い精度と低ドリフトを維持できるか？
• RQ5 ループクロージャーは、大規模環境における長期的ドリフトをどの程度補正できるか？

主な発見

• FLVISは、埋め込み用x5-z8350プロセッサ上でステレオ深度入力を用いて67 FPSを達成し、同じプラットフォームで41 FPSを記録するVINS-Fusionを大きく上回った。
• EuRoC MH05データセットにおいて、31.0メートルの屋内フィギュア8飛行で、絶対軌道誤差（ATE）が0.2メートルにとどまり、高い精度を示した。
• ループクロージャーにより、大規模なシナリオにおけるドリフト低減が実現され、ループクロージャーを有効にした場合、軌道がほぼ完璧に閉じていることが確認された。
• バックエンド処理時間はスライディングウィンドウサイズに比例するが、フロントエンド処理時間は一定であり、リソース制限のあるシステムでも予測可能な性能を発揮する。
• キーフレームのメンテナンスをフロントエンドで行わずとも、堅牢な初期ポーズ推定と安定したランドマークトラッキングのおかげで、高い精度を維持した。
• 深度カメラ（D435i）の統合により、FPSは83に上昇し、直接的な深度入力への適応性と性能向上の可能性を裏付けた。