[论文解读] Modular Tracking Framework: A Unified Approach to Registration based Tracking

Abhineet Singh|arXiv (Cornell University)|Jan 1, 2017

Robotics and Sensor-Based Localization参考文献 38被引用 7

一句话总结

本文提出了一种模块化框架，将基于匹配的视觉追踪器分解为三个核心组件——搜索方法、外观模型和状态空间模型，从而实现对现有及新型追踪方法的系统性分析、统一比较和可扩展实现。该框架提供了高效的 C++ 代码，可在超过 100,000 帧的范围内进行广泛基准测试，证明了其实际应用价值和统计鲁棒性。

ABSTRACT

This thesis presents a new way to conceptualize and study image registration based visual trackers by decomposing them into three constituent sub modules - search method, appearance model and state space model. It shows how this approach can be used to break down existing trackers and thus unify the myriad of contributions that have been made in this domain in over three decades of its existence. Further, a modular framework for registration based tracking is introduced to provide practical validity to this formulation. It provides highly efficient C++ implementations for a large subset of trackers introduced in literature to date and is designed to be easily extensible with additional methods. It follows this decomposition closely through extensive use of generic programming to provide a convenient interface to plug in a new method for any sub module and test it against all possible combinations of methods for the others. This can not only help to evaluate the new method in a more comprehensive manner but also make it immediately available for deployment in any project that uses the framework. Finally, three existing image similarity measures are adapted for high precision tracking and a new one is introduced to serve as case studies for the proposed approach of analyzing registration based tracking. Experiments are conducted using synthetic data as well as four large publicly available datasets with over 100000 frames in all to ensure the statistical validity of the results.

研究动机与目标

• 为解决过去三十年间基于匹配的视觉追踪领域长期存在的碎片化与非统一化发展问题。
• 将现有追踪器系统性地分解为三个核心子模块：搜索方法、外观模型和状态空间模型。
• 通过允许新追踪方法与其它子模块中所有现有方法的组合进行即插即用式集成，实现对新追踪方法的全面评估。
• 提供一种实用、可扩展且高效的 C++ 实现框架，用于真实世界追踪应用中的部署与基准测试。
• 通过在合成数据和四个大型公开数据集（总帧数超过 100,000 帧）上进行大量实验，验证该框架的有效性。

提出的方法

• 将基于匹配的追踪器分解为三个模块化组件：搜索方法（用于候选位置搜索）、外观模型（用于特征表示）和状态空间模型（用于状态演化与估计）。
• 设计一种基于模板编程的通用 C++ 框架，支持新方法无缝集成到任意三个子模块中。
• 使用该模块化分解实现文献中大量现有追踪器，以确保广泛的兼容性和基准测试覆盖范围。
• 选取三种成熟的图像相似性度量方法并引入一种新方法作为案例研究，以评估在所提框架下的性能表现。
• 在合成数据和四个大型公开数据集上开展实验，总帧数超过 100,000 帧，以确保结果的统计有效性。
• 利用该框架系统性地测试子模块间所有方法组合，实现全面的消融分析与性能评估。

实验结果

研究问题

• RQ1 如何将现有基于匹配的视觉追踪器系统性地分解为统一的模块化结构？
• RQ2 所提出的模块化框架在多大程度上能够实现新追踪方法的高效且全面评估？
• RQ3 该框架是否能够以极低的工程开销支持实际部署与功能扩展？
• RQ4 不同组合的搜索、外观和状态空间模型在多样化数据集上的追踪性能有何影响？
• RQ5 在超过 100,000 帧的大规模基准测试中，性能比较的统计可靠性如何？

主要发现

• 模块化分解成功将大量现有基于匹配的追踪器统一起来，通过将核心组件分离为搜索、外观和状态空间模型。
• 该框架通过支持与其它子模块中所有现有方法的组合进行即插即用式集成，实现了新方法的即时部署与全面评估。
• C++ 实现具备高性能与可扩展性，支持在四个大型公开数据集的超过 100,000 帧范围内进行基准测试。
• 对三种现有相似性度量方法的适配以及一种新方法的引入，证明了该框架在评估与优化图像相似性以实现高精度追踪方面的实用性。
• 在合成数据和真实世界数据上的实验结果证实了性能比较的统计有效性，验证了该框架的鲁棒性与可靠性。