[论文解读] Effects of Blur and Deblurring to Visual Object Tracking

Qing Guo, Wei Feng+4 more|arXiv (Cornell University)|Aug 21, 2019

Video Surveillance and Tracking Methods参考文献 57被引用 7

一句话总结

本文提出了一个包含500段视频、覆盖100个场景的模糊视频追踪（BVT）基准，每个场景中的视频具有不同程度的运动模糊，用于定量评估追踪器在模糊条件下的鲁棒性。该研究提出了一种基于生成对抗网络（GAN）的自适应去模糊方法，利用微调后的DeblurGAN判别器作为模糊程度评估器，仅在必要时对追踪过程中的帧进行选择性去模糊，从而提升了6种最先进追踪器的准确率，尤其在高度模糊的视频中表现更优。

ABSTRACT

Intuitively, motion blur may hurt the performance of visual object tracking. However, we lack quantitative evaluation of tracker robustness to different levels of motion blur. Meanwhile, while image deblurring methods can produce visually clearer videos for pleasing human eyes, it is unknown whether visual object tracking can benefit from image deblurring or not. In this paper, we address these two problems by constructing a Blurred Video Tracking benchmark, which contains a variety of videos with different levels of motion blurs, as well as ground truth tracking results for evaluating trackers. We extensively evaluate 23 trackers on this benchmark and observe several new interesting results. Specifically, we find that light blur may improve the performance of many trackers, but heavy blur always hurts the tracking performance. We also find that image deblurring may help to improve tracking performance on heavily blurred videos but hurt the performance on lightly blurred videos. According to these observations, we propose a new GAN based scheme to improve the tracker robustness to motion blurs. In this scheme, a finetuned discriminator is used as an adaptive assessor to selectively deblur frames during the tracking process. We use this scheme to successfully improve the accuracy and robustness of 6 trackers.

研究动机与目标

• 建立一个全面的基准，用于评估视觉目标追踪器在不同运动模糊水平下的鲁棒性。
• 探究最先进图像去模糊方法在不同模糊条件下对视觉目标追踪性能的影响，是提升还是降低性能。
• 开发一种通用的、自适应的去模糊策略，在不降低轻度模糊或清晰帧性能的前提下，提升追踪器的准确率。
• 在多种模糊水平下，验证所提方法在多个最先进追踪器上的有效性。

提出的方法

• 构建了一个新的模糊视频追踪（BVT）基准，包含来自100个场景的500段视频，每个场景包含5段视频，其运动模糊程度逐步增加。
• 采用三种评估指标——AUC、精度和成功率，衡量追踪器在BVT基准上的性能及对模糊的鲁棒性。
• 使用微调后的DeblurGAN判别器作为自适应模糊评估器，根据模糊程度严重性判断是否对每帧进行去模糊。
• 在追踪过程中实时应用该评估器，决定使用原始搜索区域还是去模糊后的搜索区域，选择目标可能性更高的边界框。
• 通过修改其观测模型，将自适应去模糊方案集成到7种现有追踪器（如ECO、STRCF、SiamFC）中，仅在需要时引入去模糊特征。
• 在原始帧与去模糊帧的判别器输出差异上设置阈值（θ = 2.5），仅当模糊程度严重时才触发去模糊操作。

实验结果

研究问题

• RQ1 不同水平的运动模糊如何影响现代视觉目标追踪器的性能？
• RQ2 在不同模糊水平下，应用最先进图像去模糊方法是否能提升或损害视觉目标追踪性能？
• RQ3 一种由学习得到的模糊程度评估触发的自适应去模糊策略，是否能在不降低轻度模糊或清晰帧性能的前提下，提升追踪器的鲁棒性？
• RQ4 所提出的自适应去模糊方案在多大程度上能提升现有最先进追踪器的准确率与鲁棒性？

主要发现

• 轻微运动模糊可提升许多追踪器的性能，表现为在轻度模糊视频上的AUC得分高于清晰视频。
• 严重运动模糊在大多数追踪器中均一致降低追踪准确率，BVT基准中观察到显著的性能下降。
• 如DeblurGAN和SRN等去模糊方法在高度模糊视频中提升了追踪性能，但在轻度模糊或清晰视频中反而降低了准确率。
• 所提出的基于微调DeblurGAN判别器的自适应去模糊方案，使7种评估追踪器中的6种准确率得到提升，其中BT_ganbrt相比原始BT实现了9.3%的相对性能提升。
• STRCF_ganbrt、ECO_ganbrt和SiamFC_ganbrt在所有模糊水平下均优于其原始版本，证明了该方法的通用性。
• Staple_CA_ganbrt实现了2.5%的相对性能提升，而fDSST_ganbrt在清晰视频上的表现略差于原始fDSST，表明该方法在某些情况下对去模糊伪影较为敏感。