[论文解读] TCDCaps: Visual Tracking via Cascaded Dense Capsules

Ding Ma, Xiangqian Wu|arXiv (Cornell University)|Feb 26, 2019

Video Surveillance and Tracking Methods参考文献 21被引用 6

一句话总结

TCDCaps 通过引入级联密集胶囊（CDCaps）来解决跟踪检测中的漂移问题，该方法通过逐步提高 IoU 阈值的顺序训练提升了候选框质量。通过在胶囊中采用密集连接路由增强特征鲁棒性，该方法在多个基准测试中实现了卓越的跟踪性能。

ABSTRACT

The critical challenge in tracking-by-detection framework is how to avoid drift problem during online learning, where the robust features for a variety of appearance changes are difficult to be learned and a reasonable intersection over union (IoU) threshold that defines the true/false positives is hard to set. This paper presents the TCDCaps method to address the problems above via a cascaded dense capsule architecture. To get robust features, we extend original capsules with dense-connected routing, which are referred as DCaps. Depending on the preservation of part-whole relationships in the Capsule Networks, our dense-connected capsules can capture a variety of appearance variations. In addition, to handle the issue of IoU threshold, a cascaded DCaps model (CDCaps) is proposed to improve the quality of candidates, it consists of sequential DCaps trained with increasing IoU thresholds so as to sequentially improve the quality of candidates. Extensive experiments on 3 popular benchmarks demonstrate the robustness of the proposed TCDCaps.

研究动机与目标

• 在在线学习过程中缓解基于检测的跟踪框架中的漂移问题。
• 学习能够处理视觉跟踪中多样化外观变化的鲁棒特征。
• 解决为真实/假正例分类设置最优交并比（IoU）阈值的挑战。
• 通过分层、逐步提高阈值的优化过程，提升跟踪中的候选框质量。

提出的方法

• 引入密集连接胶囊（DCaps），在标准胶囊基础上增加密集路由，以更好地保留部件-整体关系并捕捉外观变化。
• 提出级联 DCaps 模型（CDCaps），由按顺序训练、使用逐步提高 IoU 阈值的 DCaps 组成，以优化目标候选框提议。
• 利用胶囊网络的分层结构保持空间关系，提升特征表示的鲁棒性。
• 采用多阶段训练策略，每个阶段施加更严格的 IoU 标准，逐步提升候选框质量。
• 利用胶囊网络中的动态路由机制，但通过引入密集连接增强特征学习效率。
• 在在线学习设置中应用 CDCaps 架构，以基于新观测自适应更新跟踪器。

实验结果

研究问题

• RQ1 胶囊网络中的密集连接路由是否能提升在多样化外观变化下的特征鲁棒性？
• RQ2 采用逐步提高 IoU 阈值的级联训练策略是否能提升基于检测的跟踪中目标候选框提议的质量？
• RQ3 胶囊网络中对部件-整体关系的保持是否能减少在线学习过程中的跟踪漂移？
• RQ4 所提出的 TCDCaps 方法在多样化基准测试中与现有跟踪方法相比，在鲁棒性方面表现如何？

主要发现

• 所提出的 TCDCaps 方法在三个主流视觉跟踪基准上达到最先进性能。
• 使用密集连接胶囊（DCaps）显著提升了特征表示能力，通过在外观变化下保持部件-整体关系。
• 级联 DCaps 模型（CDCaps）通过使用更高 IoU 阈值逐步优化候选框提议，有效减少了跟踪漂移。
• 由于增强了特征学习和候选框优化，该方法在遮挡和运动变化等多种跟踪场景中表现出鲁棒性。
• 大量实验表明，分层且逐步提高阈值的训练策略能带来更精确和稳定的跟踪结果。
• 该架构有效平衡了特征鲁棒性与候选框质量，在准确性和稳定性方面均优于基线方法。