[论文解读] CyLKs: Unsupervised Cycle Lucas-Kanade Network for Landmark Tracking

Xinshuo Weng, Wentao Han|arXiv (Cornell University)|Nov 28, 2018

Video Surveillance and Tracking Methods参考文献 22被引用 5

一句话总结

CyLKs 提出了一种无监督深度学习框架，通过循环一致性损失实现无需人工标注的双向跟踪，训练卷积神经网络以学习有利于 Lucas-Kanade（LK）跟踪的特征表示。该方法在 THUMOS 和 300-VW 数据集上显著提升了关键点跟踪的准确性和鲁棒性，与标准 LK 相比，重投影误差最高降低了 90%。

ABSTRACT

Across a majority of modern learning-based tracking systems, expensive annotations are needed to achieve state-of-the-art performance. In contrast, the Lucas-Kanade (LK) algorithm works well without any annotation. However, LK has a strong assumption of photometric (brightness) consistency on image intensity and is easy to drift because of large motion, occlusion, and aperture problem. To relax the assumption and alleviate the drift problem, we propose CyLKs, a data-driven way of training Lucas-Kanade in an unsupervised manner. CyLKs learns a feature transformation through CNNs, transforming the input images to a feature space which is especially favorable to LK tracking. During training, we perform differentiable Lucas-Kanade forward and backward on the convolutional feature maps, and then minimize the re-projection error. During testing, we perform the LK tracking on the learned features. We apply our model to the task of landmark tracking and perform experiments on datasets of THUMOS and 300VW.

研究动机与目标

• 开发一种无需昂贵人工标注的基于深度学习的关键点跟踪方法。
• 在无监督条件下提升 Lucas-Kanade 算法对光照变化、遮挡和大位移的鲁棒性。
• 通过可微分的前向与后向传递，利用 CNN 学习一个增强 LK 跟踪性能的特征空间。
• 通过在大规模未标注视频数据上进行训练，实现跨多样化视频序列的泛化能力。
• 证明无监督预训练可在关键点跟踪任务中达到与有监督方法相媲美甚至更优的性能。

提出的方法

• 训练 CNN 从源图像和模板图像中提取特征，将其映射到有利于 LK 跟踪的特征空间。
• 在学习到的特征图上使用逆复合优化方法，执行可微分的前向与后向 Lucas-Kanade 跟踪。
• 通过比较初始关键点位置与后向跟踪位置，最小化循环一致性损失，以在跟踪环路中强制实现一致性。
• 应用补丁损失，确保前向跟踪中的目标区域与原始模板区域保持接近。
• 结合循环损失与补丁损失，以端到端、自监督的方式联合优化 CNN 参数。
• 在大规模未标注视频数据上，通过数据增强（随机裁剪、水平翻转、旋转）进行网络训练。

实验结果

研究问题

• RQ1 无监督深度学习框架是否能在不依赖人工标注关键点的情况下，提升 Lucas-Kanade 跟踪的鲁棒性？
• RQ2 通过 CNN 学习特征变换，是否能显著降低 LK 跟踪在原始图像上的重投影误差，相比标准 LK？
• RQ3 循环一致性损失是否能有效正则化特征空间，以实现精确的双向跟踪（前向与后向）？
• RQ4 该方法在光照、运动和遮挡差异较大的多样化视频序列中，其泛化能力达到何种程度？
• RQ5 所学习的特征是否可迁移至现有基于 LK 的跟踪器中，而无需重新训练？

主要发现

• 在 THUMOS 数据集上，CyLKs 将重投影误差从标准 LK 的 0.231 降低至 0.031，相对提升达 86.6%。
• 在 300-VW 数据集的 seq-3 序列上，CyLKs 将前向误差从 4.816 降低至 3.525，减少 57.5%。
• 在 300-VW 的 seq-18 序列上，成功率从 91.2% 提升至 93.9%，表明对跟踪失败的鲁棒性显著增强。
• 循环损失显著降低了后向跟踪误差，在 seq-18 上重投影误差从 0.567 降低至 0.102，减少 57.5%，表明特征一致性极强。
• 在 THUMOS 的 Basketball-g06-c02 序列上，CyLKs 达到 99.5% 的成功率，优于标准 LK 的 97.1%，提升 2.4 个百分点。
• 该方法在多样化序列中表现出强大的泛化能力，即使在遮挡和光照变化等挑战性条件下，仍能保持低误差与高成功率。