[论文解读] ECO: Efficient Convolution Operators for Tracking

Martin Danelljan, Goutam Bhat+2 more|arXiv (Cornell University)|Nov 28, 2016

Video Surveillance and Tracking Methods参考文献 4被引用 23

一句话总结

本文提出 ECO，一种基于 DCF 的新型跟踪框架，通过分解卷积算子、紧凑的生成式训练样本模型以及高效的保守更新策略，降低了模型复杂度和过拟合。该方法在 VOT2016 上相比 C-COT 实现了 20 倍的加速，同时将期望平均重叠度提升 13.0%；在 OTB-2015 上达到 65.0% 的 AUC，使用手工设计特征实现实时性能（60 FPS）。

ABSTRACT

In recent years, Discriminative Correlation Filter (DCF) based methods have significantly advanced the state-of-the-art in tracking. However, in the pursuit of ever increasing tracking performance, their characteristic speed and real-time capability have gradually faded. Further, the increasingly complex models, with massive number of trainable parameters, have introduced the risk of severe over-fitting. In this work, we tackle the key causes behind the problems of computational complexity and over-fitting, with the aim of simultaneously improving both speed and performance. We revisit the core DCF formulation and introduce: (i) a factorized convolution operator, which drastically reduces the number of parameters in the model; (ii) a compact generative model of the training sample distribution, that significantly reduces memory and time complexity, while providing better diversity of samples; (iii) a conservative model update strategy with improved robustness and reduced complexity. We perform comprehensive experiments on four benchmarks: VOT2016, UAV123, OTB-2015, and TempleColor. When using expensive deep features, our tracker provides a 20-fold speedup and achieves a 13.0% relative gain in Expected Average Overlap compared to the top ranked method in the VOT2016 challenge. Moreover, our fast variant, using hand-crafted features, operates at 60 Hz on a single CPU, while obtaining 65.0% AUC on OTB-2015.

研究动机与目标

• 解决最先进判别相关滤波（DCF）跟踪器日益增长的计算复杂度和过拟合问题。
• 在不牺牲性能的前提下，减少模型参数、训练样本大小和优化迭代次数。
• 在有限训练数据下恢复实时跟踪能力，同时提升鲁棒性和泛化能力。
• 开发一种轻量化但强大的 DCF 跟踪器，无论使用手工设计特征或深度特征，均能保持高精度。

提出的方法

• 引入一种分解卷积算子，与基线 C-COT 相比，将模型参数数量减少 80%。
• 提出一种紧凑的训练样本分布生成模型，将内存和时间复杂度降低 90%，同时保持样本多样性。
• 实施一种保守的模型更新策略，减少对近期帧的过拟合，并将优化迭代次数减少 80%。
• 采用两阶段学习过程：首先通过分解卷积学习紧凑表征；其次应用生成采样模拟多样化训练数据。
• 集成模型更新策略以限制激进更新，提升对尺度变化、形变和非平面旋转的鲁棒性。
• 将该框架与手工设计特征（HOG、Color Names）及深度特征结合，实现在 CPU 上的实时运行。

实验结果

研究问题

• RQ1 分解卷积算子是否能在保持性能的同时显著减少基于 DCF 跟踪器的参数数量？
• RQ2 紧凑的训练样本生成模型是否能在不降低多样性或准确率的前提下减少内存和时间复杂度？
• RQ3 保守的模型更新策略是否能提升在线 DCF 跟踪中的鲁棒性并减少过拟合？
• RQ4 所提方法是否能在 VOT2016 上实现相比顶级 C-COT 跟踪器 20 倍的加速并达到最先进性能？
• RQ5 该跟踪器是否能在 CPU 上保持实时性能（60 FPS）的同时，在 OTB-2015 和 UAV123 上超越现有方法？

主要发现

• 在 VOT2016 上，ECO 相较于排名第一的 C-COT 跟踪器，期望平均重叠度（EAO）相对提升 13.0%，达到 0.374，而 C-COT 为 0.331。
• ECO 的深度特征版本相比 TCNN 实现了 EFO（归一化速度）5 倍的加速，同时 EAO 提升 15.1%。
• 在 UAV123 上，ECO-HC（手工设计特征）在 60 FPS 下达到 51.7% AUC，优于 Staple（45.3% AUC），与 C-COT 持平，且实现实时运行。
• 在 OTB-2015 上，ECO-HC 使用手工设计特征达到 65.0% AUC，超过 SRDCFad（63.4%），且在单个 CPU 上以 60 FPS 运行。
• 在 OTB-2015 上，ECO 使用深度特征达到 70.0% AUC，优于 C-COT（69.0%）、MDNet（68.5%）和 TCNN（66.1%）。
• 在 TempleColor 上，ECO 相较于 C-COT 将 AUC 提升 0.8%，在多样化基准上展现出一致的性能增益。