[论文解读] Geometric Hypergraph Learning for Visual Tracking

Dawei Du, Honggang Qi+4 more|arXiv (Cornell University)|Mar 18, 2016

Video Surveillance and Tracking Methods参考文献 40被引用 4

一句话总结

该论文提出了一种用于视觉跟踪的几何超图学习框架，通过建模目标部件与候选部件之间多个对应假设之间的高阶几何关系，提升了对形变和遮挡的鲁棒性。通过将跟踪问题形式化为在置信度感知超图上的模式搜索，该方法在VOT2014和Deform-SOT基准上实现了最先进性能。

ABSTRACT

Graph based representation is widely used in visual tracking field by finding correct correspondences between target parts in consecutive frames. However, most graph based trackers consider pairwise geometric relations between local parts. They do not make full use of the target's intrinsic structure, thereby making the representation easily disturbed by errors in pairwise affinities when large deformation and occlusion occur. In this paper, we propose a geometric hypergraph learning based tracking method, which fully exploits high-order geometric relations among multiple correspondences of parts in consecutive frames. Then visual tracking is formulated as the mode-seeking problem on the hypergraph in which vertices represent correspondence hypotheses and hyperedges describe high-order geometric relations. Besides, a confidence-aware sampling method is developed to select representative vertices and hyperedges to construct the geometric hypergraph for more robustness and scalability. The experiments are carried out on two challenging datasets (VOT2014 and Deform-SOT) to demonstrate that the proposed method performs favorable against other existing trackers.

研究动机与目标

• 解决视觉跟踪中成对几何建模的局限性，后者在大形变和遮挡下容易产生误差传播。
• 利用多个对应假设之间的高阶几何结构，提升判别能力与鲁棒性。
• 通过置信度感知采样，开发一种可扩展且抗噪声的超图构建方法，适用于大规模跟踪任务。
• 将视觉跟踪形式化为在几何超图上的模式搜索问题，以识别结构一致且高置信度的对应组。
• 在具有显著形变、遮挡和外观变化的挑战性基准上展示优越性能。

提出的方法

• 构建一个几何超图，其中顶点表示前一帧中目标部件与当前帧中候选部件之间的对应假设。
• 将超边定义为多个对应假设之间的高阶几何关系，编码部件间一致的空间构型（例如三角形角度）。
• 引入一种置信度感知采样策略，以选择代表性顶点与超边，降低计算成本并提高对噪声的鲁棒性。
• 将跟踪问题形式化为在超图上的模式搜索问题，使用成对坐标更新方法，定位具有最大置信度的结构化对应模式。
• 利用基于三角形的相似性度量中的角度不变性，以处理尺度变化并提升对外观变化的鲁棒性。
• 利用超图结构联合建模目标部件之间的内点几何结构以及与背景部件的上下文关系。

实验结果

研究问题

• RQ1 与成对模型相比，多个对应假设之间的高阶几何关系是否能显著提升在大形变和遮挡下的跟踪鲁棒性？
• RQ2 如何高效构建与优化几何超图，以在视觉跟踪中实现准确性和可扩展性的平衡？
• RQ3 置信度感知采样在多大程度上降低了对噪声对应关系的敏感性，同时保留关键结构信息？
• RQ4 在超图上进行的模式搜索是否能有效识别最一致且最可靠的对应组，以实现精确的目标定位？
• RQ5 在包含严重形变、遮挡和光照变化等挑战的基准上，所提方法与最先进跟踪器相比表现如何？

主要发现

• 所提出的几何超图跟踪器（GGT）在Deform-SOT数据集上取得了最高的成功得分和第二高的精度得分，优于现有方法。
• 在VOT2014数据集上，GGT表现出良好性能，尤其在处理大形变和部分遮挡序列时表现突出。
• 该跟踪器在突然运动、姿态变化和旋转情况下仍能保持准确跟踪，而SCM和TCP等方法因漂移问题而失效。
• 在超边中使用角度不变的相似性度量使方法对尺度变化具有鲁棒性，优于仅依赖成对关系的DGT。
• 置信度感知采样方法有效减小了超图规模与计算负载，同时保留了关键结构信息，提升了可扩展性。
• 该方法通过同时建模结构一致性与上下文关系，成功在背景杂波场景（如足球序列）中跟踪目标，避免了对干扰物的漂移。