[論文レビュー] Modular Tracking Framework: A Unified Approach to Registration based Tracking

Abhineet Singh|arXiv (Cornell University)|Jan 1, 2017

Robotics and Sensor-Based Localization参考文献 38被引用数 7

ひとこと要約

本論文は、登録ベースの視覚追跡手法を3つのコアコンponent—サーチ手法、アピアランスモデル、ステートスプライスモデル—に分解するモジュラーなフレームワークを提案する。これにより、既存手法の体系的分析、統一的比較、および新規手法の拡張的実装が可能となる。フレームワークは100,000フレームを超える広範なベンチマークを実行するための効率的なC++コードを提供し、実用的価値と統計的頑健性を示している。

ABSTRACT

This thesis presents a new way to conceptualize and study image registration based visual trackers by decomposing them into three constituent sub modules - search method, appearance model and state space model. It shows how this approach can be used to break down existing trackers and thus unify the myriad of contributions that have been made in this domain in over three decades of its existence. Further, a modular framework for registration based tracking is introduced to provide practical validity to this formulation. It provides highly efficient C++ implementations for a large subset of trackers introduced in literature to date and is designed to be easily extensible with additional methods. It follows this decomposition closely through extensive use of generic programming to provide a convenient interface to plug in a new method for any sub module and test it against all possible combinations of methods for the others. This can not only help to evaluate the new method in a more comprehensive manner but also make it immediately available for deployment in any project that uses the framework. Finally, three existing image similarity measures are adapted for high precision tracking and a new one is introduced to serve as case studies for the proposed approach of analyzing registration based tracking. Experiments are conducted using synthetic data as well as four large publicly available datasets with over 100000 frames in all to ensure the statistical validity of the results.

研究の動機と目的

• 過去30年にわたり継続する、登録ベースの視覚追跡分野における断片的かつ統一されていない開発の課題に取り組むこと。
• 既存の追跡手法を、サーチ手法、アピアランスモデル、ステートスプライスモデルという3つのコアサブモジュールに体系的に分解すること。
• 他のサブモジュールの既存手法のすべての組み合わせと統合可能なプラグアンドプレイ方式により、新規追跡手法の包括的評価を可能にすること。
• 実用的で拡張可能かつ効率的なC++実装フレームワークを提供し、実世界の追跡応用におけるデプロイとベンチマークに役立たせること。
• 合成データおよび100,000フレームを超える4つの大規模な公開データセットを用いた広範な実験により、フレームワークの有効性を検証すること。

提案手法

• 登録ベースの追跡手法を3つのモジュラーなコンponentに分解する：サーチ手法（候補位置の特定）、アピアランスモデル（特徴表現）、ステートスプライスモデル（状態の進化と推定）。
• テンプレートベースプログラミングを用いた汎用的なC++フレームワークを設計し、任意のサブモジュールに新しい手法をシームレスに統合可能にする。
• 広範な互換性とベンチマークカバレッジを確保するため、文献に登場する既存の追跡手法の大部分をこのモジュラー分解に基づいて実装する。
• 3つの既存の画像類似度測定法の適応と、新しい測定法の導入を事例として用い、提案フレームワーク下での性能評価を実施する。
• 合成データおよび合計で100,000フレームを超える4つの大規模な公開データセットを用いた実験により、結果の統計的妥当性を確保する。
• フレームワークを用いてサブモジュール間のすべての手法の組み合わせを体系的にテストし、包括的なアブレーションおよび性能分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 既存の登録ベースの視覚追跡手法は、どのように統一的なモジュラー構造に体系的に分解可能か？
• RQ2 提案されたモジュラーフレームワークは、新規追跡手法の効率的かつ包括的な評価をどの程度可能にするか？
• RQ3 フレームワークは、最小限の工学的オーバーヘッドで実用的デプロイと拡張をサポートできるか？
• RQ4 異なるサーチ、アピアランス、ステートスプライスモデルの組み合わせが、多様なデータセットにおける追跡性能にどのように影響を与えるか？
• RQ5 100,000フレームを超える大規模ベンチマークを用いた場合、性能比較の統計的信頼性はどの程度か？

主な発見

• モジュラー分解により、サーチ、アピアランス、ステートスプライスモデルに分離することで、広範な既存の登録ベースの追跡手法が統一的に扱えるようになった。
• 他のサブモジュールの既存手法のすべての組み合わせと統合可能なプラグイン方式により、新規手法の即時デプロイと包括的評価が可能となった。
• C++実装により高いパフォーマンスとスケーラビリティを達成し、4つの大規模な公開データセットから100,000フレームを超えるベンチマークを実行可能となった。
• 3つの既存の類似度測定法の適応と新しい測定法の導入により、高精度な追跡に向けた画像類似度の評価と最適化におけるフレームワークの実用性が示された。
• 合成データおよび実世界データを用いた実験により、性能比較の統計的妥当性が確認され、フレームワークの頑健性と信頼性が裏付けられた。