[論文レビュー] Event-Based Features Selection and Tracking from Intertwined Estimation of Velocity and Generative Contours

Laurent Dardelet, Sio-Hoï Ieng+1 more|arXiv (Cornell University)|Nov 19, 2018

Advanced Memory and Neural Computing参考文献 11被引用数 6

ひとこと要約

本稿では、ベイズ推論を用いた速度と生成的輪郭の相互作用的推定により、任意の視覚的特徴を検出・追跡する純粋なイベントベース手法を提案する。各イベントを非同期に処理し、推定された速度に沿って投影することで、最小限のチューニングと高い時間分解能を実現し、多様な照明条件、速度、特徴タイプに対しても高速かつロバストな追跡を可能にする。

ABSTRACT

This paper presents a new event-based method for detecting and tracking features from the output of an event-based camera. Unlike many tracking algorithms from the computer vision community, this process does not aim for particular predefined shapes such as corners. It relies on a dual intertwined iterative continuous -- pure event-based -- estimation of the velocity vector and a bayesian description of the generative feature contours. By projecting along estimated speeds updated for each incoming event it is possible to identify and determine the spatial location and generative contour of the tracked feature while iteratively updating the estimation of the velocity vector. Results on several environments are shown taking into account large variations in terms of luminosity, speed, nature and size of the tracked features. The usage of speed instead of positions allows for a much faster feedback allowing for very fast convergence rates.

研究の動機と目的

• フレームベース処理に依存しない、効率的で純粋なイベントベースの特徴検出および追跡手法の不足を解消すること。
• イベントカメラの低遅延性および低冗長性の利点を損なうフレームベース手法の制限を克服すること。
• 事前に定義された形状事前分布を必要とせず、明るさの大きな変動、高速度、複雑な運動に対してもロバストな特徴追跡を可能にすること。
• イベントカメラの高い時間分解能を活かすために、時間領域で直接非同期イベントストリームを処理する手法を開発すること。
• 同時に速度推定を実行しながら、特徴の輪郭をネイティブにベイズ的記述することで、追跡の安定性と収束性を向上させること。

提案手法

• ベイズ推論を用いて、速度ベクトルと生成的特徴輪郭の間で二重に相互に絡んだ反復的推定プロセスを実装する。
• 各到着イベントをリアルタイムで個別に処理し、時間バッチングを避けながら速度推定値と空間的投影を更新する。
• 推定された速度ベクトルに沿ってイベントを投影することで、追跡対象特徴の空間的位置と輪郭を特定する。
• ベイズ確率に基づく特徴輪郭の生成モデルを採用し、追跡対象特徴の形状の変化を記述する。
• フレーム蓄積を避けるために、非同期的・時間領域での計算に依存することで、低遅延性と高い応答性を維持する。
• チューニングパラメータへの依存性を低減し、信頼性を向上させるために、複数の初期速度投影を用いて追跡を初期化する。

実験結果

リサーチクエスチョン

• RQ1 純粋なイベントベース手法は、フレームベース処理や事前定義された特徴形状に依存せずに、信頼性の高い特徴検出および追跡を達成できるか？
• RQ2 速度推定をどのように輪郭モデリングと効果的に統合することで、追跡の安定性と収束性を向上させられるか？
• RQ3 この手法は、パラメータの再チューニングなしに、明るさの大きな変動、速度、特徴の複雑さの変動に対してどの程度耐性を示せるか？
• RQ4 継続的な速度更新を伴う非同期イベント処理が、追跡性能と収束速度に及ぼす影響は何か？
• RQ5 イベントストリームデータのみを用いて、リアルタイムで特徴輪郭のベイズ的記述を効果的に維持・更新できるか？

主な発見

• 位置ベースの更新ではなく速度フィードバックを用いることで、高速な収束率を達成し、リアルタイム応答性を実現する。
• 明るさの大きな変動や高速度運動を伴うシーンを含む多様な環境においても、追跡性能がロバストに維持される。
• 人間の歩行者など、大きな垂直方向の頭部振動を示す非剛体な特徴に対しても、本手法は効果的に追跡でき、単純な形状を超えた一般化能力を示す。
• 複数の初期速度投影の使用により、パラメータチューニングへの感受性が顕著に低減され、信頼性が向上する。
• 継続的なベイズ更新により、フレーム再構成なしに正確な特徴輪郭の記述を維持できる。
• 結果として、本手法は遅延および計算効率において従来のフレームベース手法を上回りながら、競争力のある精度を維持していることが示された。