[论文解读] Efficient Diverse Ensemble for Discriminative Co-Tracking

Kourosh Meshgi, Shigeyuki Oba+1 more|arXiv (Cornell University)|Nov 16, 2017

Video Surveillance and Tracking Methods参考文献 56被引用 3

一句话总结

该论文提出了一种高效多样集成追踪器（DEDT），通过查询-委员会机制生成人工训练数据，以最大化集成成员间的多样性，从而增强判别性联合追踪。通过结合随机数据子集与主动生成的挑战性人工样本，DEDT降低了模型相关性与漂移，实现了在OTB50和OTB100基准上的最先进性能，展现出更高的准确率以及对标签噪声和遮挡的鲁棒性。

ABSTRACT

Ensemble discriminative tracking utilizes a committee of classifiers, to label data samples, which are in turn, used for retraining the tracker to localize the target using the collective knowledge of the committee. Committee members could vary in their features, memory update schemes, or training data, however, it is inevitable to have committee members that excessively agree because of large overlaps in their version space. To remove this redundancy and have an effective ensemble learning, it is critical for the committee to include consistent hypotheses that differ from one-another, covering the version space with minimum overlaps. In this study, we propose an online ensemble tracker that directly generates a diverse committee by generating an efficient set of artificial training. The artificial data is sampled from the empirical distribution of the samples taken from both target and background, whereas the process is governed by query-by-committee to shrink the overlap between classifiers. The experimental results demonstrate that the proposed scheme outperforms conventional ensemble trackers on public benchmarks.

研究动机与目标

• 解决由自我学习循环和相关集成成员引起的判别性追踪中的模型漂移与标签噪声问题。
• 通过受控的数据增强最大化分类器间的多样性，以提升集成泛化能力。
• 开发一种高效、实时的联合追踪框架，同时保持长短期记忆，并支持主分类器与辅助分类器之间的主动数据交换。
• 通过联合追踪设置与辅助分类器验证并纠正预测结果，打破自我学习循环。
• 通过多样化训练增强追踪器在遮挡、形变与背景杂乱等视觉挑战下的鲁棒性。

提出的方法

• 该方法通过使用追踪数据的随机子集构建集成，以降低初始分类器间的相关性。
• 从目标与背景块的经验分布中生成人工训练样本，通过在最后已知目标位置周围进行多变量高斯采样。
• 通过查询-委员会策略选择人工样本的标签，以挑战集成当前的共识，促进多样性。
• 集成通过迭代方式更新：若在引入人工样本后集成准确率提升，则接受这些样本；否则生成新样本。
• 在联合追踪框架中，辅助分类器提供外部监督，其长期记忆用于验证并纠正主追踪器的预测。
• 该框架通过批量更新辅助分类器来稳定学习并减少漂移，同时通过循环更新机制实现实时主动数据共享。

实验结果

研究问题

• RQ1 如何在在线判别性追踪中系统性地提升集成多样性，以减少模型相关性与漂移？
• RQ2 当真实正样本稀少时，人工数据生成在提升追踪器鲁棒性方面发挥何种作用？
• RQ3 查询-委员会策略是否能有效引导生成具有信息量的人工样本，从而提升集成性能？
• RQ4 与自我学习或孤立集成方法相比，联合追踪中引入辅助分类器如何提升准确性？
• RQ5 在多种视觉追踪挑战下，所提方法在多大程度上优于最先进追踪器？

主要发现

• 在OTB50基准中，DEDT在12个子类别中的10个上优于所有对比追踪器，且在ALL和IV类别中取得最高AUC。
• 在OTB100上，DEDT在12个子类别中的10个上达到最优性能，即使仅使用HOG特征，也超越了如CCOT等基于深度特征的追踪器。
• 消融实验表明，DEDT-first（固定辅助）与DEDT-short（完全更新辅助）的表现均劣于所提出的循环主动更新方案，证实了主动查询选择的重要性。
• DEDT-isolated（仅在最后融合结果）的表现劣于实时联合追踪变体，表明持续协作具有显著优势。
• 该方法通过打破自我学习循环并使用多样化训练数据，显著降低了模型漂移与标签噪声的影响。
• 人工数据的使用在不引入异常值的情况下增加了正样本数量，因为样本是从学习到的数据分布（多变量高斯）中采样得到的。