[論文レビュー] Event-based Camera Pose Tracking using a Generative Event Model

Guillermo Gallego, Christian Förster+2 more|arXiv (Cornell University)|Oct 7, 2015

Advanced Memory and Neural Computing参考文献 15被引用数 38

ひとこと要約

本稿では、コントラスト残差に基づく生成的イベントモデルを用いて、6自由度のイベントベースカメラポーズ追跡のための暗黙的拡張カルマンフィルタ（EKF）を提案する。イベント生成を物理的センサ特性に基づいてモデル化し、明るさ変化のガウス型分布を活用することで、コントラスト残差を尤度測度として用い、リアルタイムでのポーズ推定を補正する。これにより、追加センサやデータ関連付けを必要とせず、高精度な局所化が可能となる。

ABSTRACT

Event-based vision sensors mimic the operation of biological retina and they represent a major paradigm shift from traditional cameras. Instead of providing frames of intensity measurements synchronously, at artificially chosen rates, event-based cameras provide information on brightness changes asynchronously, when they occur. Such non-redundant pieces of information are called "events". These sensors overcome some of the limitations of traditional cameras (response time, bandwidth and dynamic range) but require new methods to deal with the data they output. We tackle the problem of event-based camera localization in a known environment, without additional sensing, using a probabilistic generative event model in a Bayesian filtering framework. Our main contribution is the design of the likelihood function used in the filter to process the observed events. Based on the physical characteristics of the sensor and on empirical evidence of the Gaussian-like distribution of spiked events with respect to the brightness change, we propose to use the contrast residual as a measure of how well the estimated pose of the event-based camera and the environment explain the observed events. The filter allows for localization in the general case of six degrees-of-freedom motions.

研究の動機と目的

• 既知の3次元環境において、追加センサを用いずにイベントベースカメラの局所化を解決すること。
• 非同期的かつスパースなイベントストリームの性質をネイティブに扱える確率的フィルタリングフレームワークを開発すること。
• 予測されたポーズが観測イベントをどの程度説明できるかを正確に測る尤度関数を設計すること。
• 幾何学的および光度的情報を含む、密な3次元マップとイベントデータのみを用いて、ロバストな6-DOFポーズ追跡を実現すること。
• コントラスト残差を活用することで、イベントと3次元シーンポイントの明示的関連付けを回避し、暗黙的に結びつけること。

提案手法

• 一定明るさ制約と時間的持続性に基づき、生成的イベントモデルを導出。イベント生成を局所的明るさ変化と関連付ける。
• コントラスト残差を主要な測定関数として導入。定義は、イベントの近傍における予測コントラストと観測コントラストの絶対差。
• インノベーションをコントラスト残差を用いて計算する暗黙的EKFフレームワークを採用。これにより、イベントごとの状態更新が可能。
• 各イベント位置における期待コントラストを、与えられたポーズ下で幾何学的および光度的データを有する密な3次元マップから予測。
• イベント発生のしきい値 $ C $ を実験データから推定。尤度モデルのキャリブレーションに、コントラスト分布のモードを用いる。
• 非同期的にイベントを処理。フレームベースの処理を必要とせず、インノベーションとその共分散を用いて状態推定を更新。

実験結果

リサーチクエスチョン

• RQ1 動的シーンにおけるDVSセンサの物理的挙動を正確に反映する生成的イベントモデルをどのように構築できるか？
• RQ2 ベイズフィルタリングフレームワークにおいて、ロバストかつ効率的なイベントベースポーズ推定を可能にする尤度関数は何か？
• RQ3 コントラスト残差は、予測カメラポーズと観測イベントの整合性を評価する原理的かつデータ駆動的な測度として機能できるか？
• RQ4 本手法は、追加センサを用いずにイベントデータと密なマップのみを用いて、6-DOFの運動推定をどの程度正確に実現できるか？
• RQ5 暗黙的EKFアプローチは、イベントベース局所化において、明示的なデータ関連付けの必要性をどの程度低減できるか？

主な発見

• 合成データにおける一定加速度軌道の下で、アルゴリズムはDVSのポーズと速度を正常に推定した。位置および速度の相対誤差は1%未満であった。
• 定常速度運動を示す実世界実験では、約100,000件のイベントを処理し、安定的かつ高精度なポーズおよび速度推定を達成した。
• コントラスト残差は、実験的に信頼できる尤度測度として裏付けられた。絶対コントラストの分布はガウス分布に近く、モデルの仮定を支持する。
• データ関連付けを必要とせず、コントラスト残差がマップの光度的および幾何学的構造を通じてイベントと3次元シーンポイントを暗黙的に結びつけることで、高精度な局所化を実現した。
• ノイズや非一様なイベント分布に対してロバストであり、特にイベント生成がスパースな滑らかな勾配領域でも良好に動作した。
• EKFフレームワークにより、リアルタイムでのイベント単位の更新が可能となり、高速応用に適したアプローチとなった。