[论文解读] Adversarial Feature Sampling Learning for Efficient Visual Tracking

Yingjie Yin, Lei Zhang+2 more|arXiv (Cornell University)|Sep 13, 2018

Video Surveillance and Tracking Methods被引用 5

一句话总结

该论文提出了一种新颖的视觉追踪方法，直接从深度卷积特征图中采样特征，而非原始图像，显著降低了计算负载。通过利用对抗性特征采样和基于生成对抗网络（GAN）的正样本增强策略，该方法在基准数据集上实现了最先进水平的追踪精度，并大幅提升了推理速度。

ABSTRACT

The tracking-by-detection framework usually consist of two stages: drawing samples around the target object in the first stage and classifying each sample as the target object or background in the second stage. Current popular trackers based on tracking-by-detection framework typically draw samples in the raw image as the inputs of deep convolution networks in the first stage, which usually results in high computational burden and low running speed. In this paper, we propose a new visual tracking method using sampling deep convolutional features to address this problem. Only one cropped image around the target object is input into the designed deep convolution network and the samples is sampled on the feature maps of the network by spatial bilinear resampling. In addition, a generative adversarial network is integrated into our network framework to augment positive samples and improve the tracking performance. Extensive experiments on benchmark datasets demonstrate that the proposed method achieves a comparable performance to state-of-the-art trackers and accelerates tracking-by-detection trackers based on raw-image samples effectively.

研究动机与目标

• 降低依赖原始图像采样的检测追踪方法所带来的高计算成本。
• 通过将采样从原始图像转移到深度特征图，实现在不牺牲精度的前提下提升追踪效率。
• 通过对抗性学习实现正样本增强，提升模型的鲁棒性和泛化能力。
• 在与现有基于原始图像的追踪器相比，实现具有竞争力的追踪性能，同时显著提升推理速度。

提出的方法

• 该方法直接从深度卷积神经网络的特征图中采样候选区域，而非从原始输入图像中采样。
• 采用空间双线性重采样技术，从特征图上所需位置提取特征，实现高效且可微分的采样。
• 集成生成对抗网络（GAN）以合成额外的正样本，提升特征判别力和鲁棒性。
• 通过联合损失函数（结合分类损失与对抗损失）端到端训练追踪器。
• 仅将目标周围的一张裁剪图像输入网络；后续采样操作在生成的特征图上进行。
• 通过避免对每个候选样本重复进行全分辨率图像的前向传播，保持框架的高效率。

实验结果

研究问题

• RQ1 在基于检测的追踪框架中，改用从深度特征图采样而非原始图像，是否能降低计算成本？
• RQ2 对抗性特征采样在多大程度上提升了追踪精度和鲁棒性？
• RQ3 GAN生成的正样本在多大程度上增强了视觉追踪中模型的泛化能力？
• RQ4 基于特征图的采样策略是否能在显著提升速度的同时，实现与最先进追踪器相当的性能？

主要发现

• 所提方法在OTB-2015和VOT2018等标准基准数据集上的追踪精度与最先进方法相当。
• 通过消除重复的图像级采样，该方法显著降低了计算成本，从而实现了更快的推理速度。
• 引入GAN进行正样本增强，有效提升了特征判别力和追踪鲁棒性。
• 由于正样本多样性的增强，模型在遮挡和运动模糊等挑战性条件下仍表现出强大的泛化能力。
• 与基于原始图像的追踪基线方法相比，该方法实现了显著的速度提升，且精度损失极小。