[論文レビュー] Event-based, 6-DOF Camera Tracking for High-Speed Applications.

Guillermo Gallego, Jon E. A. Lund+4 more|arXiv (Cornell University)|Jul 12, 2016

CCD and CMOS Imaging Sensors参考文献 18被引用数 23

ひとこと要約

本論文は、個々のイベントをリアルタイムで処理して自己運動をマイクロ秒レベルの遅延で推定する、最初のイベントベースの6自由度カメラトラッキング手法を提示する。イベントカメラからの非同期的イベントストリームを活用することで、従来のフレームベース手法の制限を克服し、自然な屋内および屋外シーンにおいて高速で低遅延のポーズ推定を実現する。

ABSTRACT

In contrast to standard cameras, which produce frames at a fixed rate, event cameras respond asynchronously to pixel-level brightness changes, thus enabling the design of new algorithms for high-speed applications with latencies of microseconds. However, this advantage comes at a cost: because the output is composed by a sequence of events, traditional computer-vision algorithms are not applicable, so that a new paradigm shift is needed. We present an event-based approach for ego-motion estimation, which provides pose updates upon the arrival of each event, thus virtually eliminating latency. Our method is the first work addressing and demonstrating event-based pose tracking in six degrees-of-freedom (DOF) motions in realistic and natural scenes, and it is able to track high-speed motions. The method is successfully evaluated in both indoor and outdoor scenes.

研究の動機と目的

• 従来のフレームベース手法が運動ぼやけや固定フレームレートの制限により失敗するような高速なシナリオにおいて、リアルタイムで低遅延の自己運動推定を可能にすること。
• コンピュータビジョンアルゴリズムをイベントカメラデータに適用する課題に対処すること。イベントカメラは同期フレームではなく、非同期的でスパースなイベントストリームを出力するためである。
• 各イベント到着時にポーズ更新を行う方法を開発し、遅延を最小限に抑え、高速に動くカメラの追跡を可能にすること。
• イベントベースのセンシングを用いて、現実的で自然な環境で6自由度の運動追跡を実現すること。これは、以前には達成されていなかった能力である。

提案手法

• 本手法は、フレーム蓄積に依存せずに、連続時間形式を用いてカメラの運動を推定するため、到着する各イベントを個別に処理する。
• 時間経過にわたるイベント統合を可能にする要因グラフ最適化フレームワークを採用し、高い時間分解能で6自由度のポーズを推定する。
• 各ピクセルにおける強度変化を運動の関数としてモデル化し、時間経過にわたってこれらの変化を統合して運動推定値を計算する。
• 計算負荷を低減しながらも、高い時間分解能と正確性を維持するため、スパースなイベント表現を用いる。
• イベント到着時に逐次的にポーズ更新を計算することで、ほぼ即時の応答とマイクロ秒レベルの遅延を実現する。

実験結果

リサーチクエスチョン

• RQ1 リアルワールド環境において、マイクロ秒レベルの遅延を達成するイベントベースの6自由度カメラトラッキングは可能か？
• RQ2 高速運動シナリオにおいて、イベントベースの運動推定はフレームベース手法と比較してどのように性能を発揮するか？
• RQ3 固定フレーム処理に依存せずに、複雑な自然シーンの運動を本手法は追跡可能か？
• RQ4 本手法の正確性と頑健性は、屋内および屋外の高速条件下でどの程度の水準にあるか？

主な発見

• 本手法は、マイクロ秒レベルの遅延を実現するリアルタイムなイベントごとの6自由度ポーズ推定を達成し、フレームベースシステムと比較して遅延を顕著に低減した。
• 屋内および屋外の両環境において、高速な運動を効果的に追跡でき、自然なシーンにおいても頑健であることを示した。
• 運動ぼやけやフレームレートの制限により性能が低下するような高速運動シナリオにおいて、従来のフレームベース手法を上回る性能を発揮した。
• イベントカメラの非同期的かつ高時間分解能の性質を活用することで、高い正確性を維持した。