[論文レビュー] Hybrid, Frame and Event based Visual Inertial Odometry for Robust, Autonomous Navigation of Quadrotors

Antoni Rosinol Vidal, Henri Rebecq+2 more|arXiv (Cornell University)|Sep 19, 2017

Advanced Memory and Neural Computing参考文献 25被引用数 5

ひとこと要約

本論文は、イベントカメラからのイベント、標準的な強度フレーム、および慣性計測を統合することで、マルチローターのための頑健で高精度な状態推定を実現する密結合型ハイブリッド視覚慣性オドメトリーシステムを提案する。この手法は、イベントのみのシステムに比べ130%高い精度を達成し、フレームのみのシステムに比べ85%高い精度を示し、低照度および高ダイナミックレンジ環境下で、イベントカメラのみに依存する初の自律フライトを実現した。

ABSTRACT

Event cameras are bio-inspired vision sensors that output pixel-level brightness changes instead of standard intensity frames. These cameras do not suffer from motion blur and have a very high dynamic range, which enables them to provide reliable visual information during high speed motions or in scenes characterized by high dynamic range. However, event cameras output only little information when the amount of motion is limited, such as in the case of almost still motion. Conversely, standard cameras provide instant and rich information about the environment most of the time (in low-speed and good lighting scenarios), but they fail severely in case of fast motions, or difficult lighting such as high dynamic range or low light scenes. In this paper, we present the first state estimation pipeline that leverages the complementary advantages of these two sensors by fusing in a tightly-coupled manner events, standard frames, and inertial measurements. We show on the publicly available Event Camera Dataset that our hybrid pipeline leads to an accuracy improvement of 130% over event-only pipelines, and 85% over standard-frames-only visual-inertial systems, while still being computationally tractable. Furthermore, we use our pipeline to demonstrate - to the best of our knowledge - the first autonomous quadrotor flight using an event camera for state estimation, unlocking flight scenarios that were not reachable with traditional visual-inertial odometry, such as low-light environments and high-dynamic range scenes.

研究の動機と目的

• 低速度状況におけるイベントカメラの限界を解消し、高速または極端な照明条件下での標準カメラの限界を克服すること。
• イベントベースとフレームベースのビジョンのトレードオフを、両者の補完的特長を組み合わせることで克服すること。
• イベント、標準フレーム、慣性測定を統合した、より優れた状態推定を実現する密結合型統合パイプラインの開発。
• 低照度や高ダイナミックレンジ環境下で、イベントカメラにのみ依存する状態推定に立脚する初の自律マルチローター飛行の実証。

提案手法

• イベント、標準的な強度フレーム、慣性測定を同時に最適化する密結合型状態推定パイプラインを設計する。
• イベントベースの運動統合を用いて、最小限の動きぼけと高ダイナミックレンジで高速な動きを捉える。
• 低速度で明るい環境下では、豊富で即時の環境情報が得られる標準フレームを統合する。
• 視覚データと慣性測定を統合することで、困難な運動および照明条件下での頑健性と精度を向上させる。
• 3つのセンサモダリティを用いて、同時にポーズ、速度、バイアス状態を推定する共同最適化フレームワークを実装する。
• イベントとフレームの補完的時間的および空間的特性を活用し、全体的なシステムの耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 イベント、標準フレーム、慣性測定の密結合統合は、単一モダリティのシステムに比べ、状態推定精度を著しく向上させるか？
• RQ2 従来の視覚慣性オドメトリが失敗するような極端な状況（低照度や高ダイナミックレンジ）下で、ハイブリッドシステムはどのように性能を発揮するか？
• RQ3 イベントカメラのみが、従来の視覚慣性システムでは到達できなかった状況において、どの程度自律マルチローター飛行を可能にするか？
• RQ4 イベントとフレームデータの統合は、高速運動時のドリフト低減と耐障害性向上に寄与するか？

主な発見

• ハイブリッドパイプラインは、イベントカメラデータセットにおいて、イベントのみの視覚慣性オドメトリに比べ130%高い精度を達成した。
• 同じ条件下で、標準フレームのみの視覚慣性オドメトリに比べ85%高い精度を達成した。
• 3つの高帯域幅センサモダリティを統合しても、計算的に実行可能であることが保証された。
• 本手法により、状態推定にイベントカメラのみを用いた初の自律マルチローター飛行が実現された。
• 従来の視覚慣性オドメトリが失敗する低照度および高ダイナミックレンジ環境下でも、システムは正常に航行を実行した。
• イベント、フレーム、慣性データの密結合統合により、多様な運動および照明条件下で優れた耐障害性と精度が実現された。