[論文レビュー] e-TLD: Event-based Framework for Dynamic Object Tracking

Bharath Ramesh, Shihao Zhang+5 more|arXiv (Cornell University)|Sep 2, 2020

Video Surveillance and Tracking Methods参考文献 37被引用数 13

ひとこと要約

本稿では、遮蔽後の再検出にローカルトラッカーとグローバル検出器を組み合わせた、イベントカメラ向けのリアルタイムで長期的なオブジェクト追跡フレームワークe-TLDを提案する。オンラインの判別的学習とベイジアンブートストラップを用いることで、スケーリング、回転、視点の変化、遮蔽に対しても頑健な追跡を実現し、公開データセット上で定量的な性能評価により、多様な運動プロファイルにおいて高い成功率を達成している。

ABSTRACT

This paper presents a long-term object tracking framework with a moving event camera under general tracking conditions. A first of its kind for these revolutionary cameras, the tracking framework uses a discriminative representation for the object with online learning, and detects and re-tracks the object when it comes back into the field-of-view. One of the key novelties is the use of an event-based local sliding window technique that tracks reliably in scenes with cluttered and textured background. In addition, Bayesian bootstrapping is used to assist real-time processing and boost the discriminative power of the object representation. On the other hand, when the object re-enters the field-of-view of the camera, a data-driven, global sliding window detector locates the object for subsequent tracking. Extensive experiments demonstrate the ability of the proposed framework to track and detect arbitrary objects of various shapes and sizes, including dynamic objects such as a human. This is a significant improvement compared to earlier works that simply track objects as long as they are visible under simpler background settings. Using the ground truth locations for five different objects under three motion settings, namely translation, rotation and 6-DOF, quantitative measurement is reported for the event-based tracking framework with critical insights on various performance issues. Finally, real-time implementation in C++ highlights tracking ability under scale, rotation, view-point and occlusion scenarios in a lab setting.

研究の動機と目的

• 遮蔽、背景のごみ、照明の変化といった困難な条件下でも動作する、イベントカメラ向けのリアルタイムで長期的なオブジェクト追跡システムの開発を目的とする。
• データ駆動型のグローバル検出器を用いて、一時的な遮蔽や視野外からの再追跡を可能にする。
• ディープラーニングに依存せず、インクリメンタルSVM学習と効率的なイベントベースの記述子を用いることで、計算コストを低減する。
• 疎で高時間分解能を持つイベントデータを用いて、スケーリング、回転、視点の変化、動的運動に対しても頑健な追跡を実現する。
• C++実装により、標準ハードウェアでもリアルタイム性能を達成し、神経形状ビジョンシステムに実用的であることを示す。

提案手法

• フレームワークは、オンラインで段階的なSVM更新により学習されたイベントベースの判別的分類器に基づくローカルスライディングウィンドウトラッカーを採用する。
• 判別的表現の強化とリアルタイム処理の支援を目的として、ベイジアンブートストラップが適用される。
• オブジェクトが再び視野に現れた際に、イベントデータを用いて変化する視点下でもオブジェクトを特定するグローバルスライディングウィンドウ検出器が起動される。
• トラッカーは、最後に確認された位置に基づく空間的制限領域内で動作し、イベント到着レートに基づく時間的制限も設けられる。
• オブジェクト表現は、先行研究の記述子を用いてイベントストリームから学習され、疎で非同期なデータからの効率的な特徴抽出を可能にする。
• システムはC++で実装され、標準ハードウェアでもリアルタイム性能を最適化しており、動的運動と遮蔽の処理をサポートする。

実験結果

リサーチクエスチョン

• RQ1 遮蔽や背景の変化があっても正確性を維持できる、イベントカメラを用いた長期的オブジェクト追跡システムを構築可能か？
• RQ2 テクスチャが豊富でごみが多い環境下でも、オンライン学習を用いたイベントベースのローカルトラッカーはどれほど効果的か？
• RQ3 トラッカーと検出器のしきい値パラメータが、追跡の頑健性と再検出性能に与える影響は何か？
• RQ4 リアルタイムシナリオにおいて、システムはスケーリング、回転、視点の変化をどれほどうまく処理できるか？
• RQ5 ユーザーの初期化に依存せず、自動検出に依存する場合、システムはどの程度の範囲で動作可能か？

主な発見

• e-TLDフレームワークは、トランスレーション、回転、6自由度（6-DOF）の運動プロファイル下で、5種類の異なるオブジェクトに対して高いオーバーラップ成功率（OS）とセンター位置誤差（CLE）を達成しており、ほとんどのオブジェクトでOS値が0.8を超える。
• しきい値τt = 0.8でトラッカーは頑健な性能を維持しており、ラボ実験においてもスケーリングや視点の変化に対し安定した追跡が可能である。
• グローバル検出器によるオブジェクトの再検出は効果的であるが、イベント発生率が低いオブジェクト（例：均一なモニタ）では、特にτ値が高い場合に性能が低下する傾向がある。
• 初期化エラーに対して耐性があり、真値からのバウンディングボックス座標のずれが最大10%まででも、妥当な性能を維持する。
• フレームワークは約150 KB/sのデータレートで効率的に動作し、標準のVGAカメラ（約10 MB/s）と比較して顕著に低いが、高い時間分解能とダイナミックレンジを維持している。
• ベイジアンブートストラップとインクリメンタルSVM学習の活用により、再トレーニングや専用ハードウェアを必要とせず、リアルタイム処理が可能である。これは、ディープラーニングベースの代替手法とは対照的である。