[论文解读] Fast Visual Object Tracking with Rotated Bounding Boxes

Bao Xin Chen, John K. Tsotsos|arXiv (Cornell University)|Jul 8, 2019

Video Surveillance and Tracking Methods参考文献 35被引用 32

一句话总结

本文提出 SiamMask_E，一种实时视觉目标跟踪方法，通过将椭圆拟合到分割掩码上来改进旋转框估计，在 GPU 上实现 80 fps 的性能。该方法在 VOT2019 上将跟踪精度提升至 65.2% 的 Accuracy 和 30.9% 的 EAO，较原始 SiamMask 提升 5.6% 和 2.6%，同时保持实时性能。

ABSTRACT

In this paper, we demonstrate a novel algorithm that uses ellipse fitting to estimate the bounding box rotation angle and size with the segmentation(mask) on the target for online and real-time visual object tracking. Our method, SiamMask_E, improves the bounding box fitting procedure of the state-of-the-art object tracking algorithm SiamMask and still retains a fast-tracking frame rate (80 fps) on a system equipped with GPU (GeForce GTX 1080 Ti or higher). We tested our approach on the visual object tracking datasets (VOT2016, VOT2018, and VOT2019) that were labeled with rotated bounding boxes. By comparing with the original SiamMask, we achieved an improved Accuracy of 0.652 and 0.309 EAO on VOT2019, which is 0.056 and 0.026 higher than the original SiamMask. The implementation is available on GitHub: https://github.com/baoxinchen/siammask_e.

研究动机与目标

• 提升实时视觉目标跟踪中旋转框估计的准确性。
• 解决在遮挡和运动模糊条件下估计旋转角度和尺度的计算挑战。
• 通过利用分割掩码优化边界框预测，提升当前最先进方法 SiamMask 的性能。
• 开发一种快速、高效的旋转框拟合方法，可无缝集成至现有跟踪框架。
• 提升在使用旋转框的 VOT 基准测试中的性能表现，以减少背景杂波并编码目标方向信息。

提出的方法

• 以 SiamMask 生成的分割掩码作为旋转框估计的输入。
• 对掩码应用椭圆拟合，以估计最优旋转角度及长轴/短轴长度。
• 利用最佳拟合椭圆的几何特性，计算一个紧密包围目标的旋转矩形。
• 在 SiamMask 框架中集成基于椭圆的边界框估计，计算开销极小。
• 引入精炼步骤，进一步提升定位精度并减少漂移。
• 通过优化椭圆拟合过程以支持 GPU 加速，保持实时推理速度（80 fps）

实验结果

研究问题

• RQ1 在分割掩码上进行椭圆拟合是否能提升实时跟踪中旋转框估计的准确性？
• RQ2 基于椭圆的边界框估计在 IoU 和跟踪鲁棒性方面与最小面积边界框（MAB）相比表现如何？
• RQ3 添加精炼步骤对最终跟踪精度和稳定性有何影响？
• RQ4 所提方法是否能在提升 VOT 基准测试中准确率的同时，保持高帧率（如 80 fps）？
• RQ5 基于椭圆的方向估计是否能在遮挡、运动模糊和姿态变化下实现更好的泛化能力？

主要发现

• SiamMask_E 在 VOT2019 上实现 65.2% 的 Accuracy 和 30.9% 的 EAO，较原始 SiamMask 提升 5.6% 和 2.6%。
• 消融实验表明，基于椭圆的旋转估计显著优于最小面积边界框方法。
• 在 SiamMask_E 中添加精炼步骤后，VOT2019 上的 EAO 提升 0.012，证明其在减少定位漂移方面的有效性。
• 该方法在 GeForce GTX 1080 Ti 或更高版本 GPU 上保持 80 fps 的实时帧率，确保实际部署可行性。
• 加入精炼步骤的 SiamMask_E 在所有 VOT2018 和 VOT2019 基准测试中表现最佳，无论在定性还是定量评估中均优于 SiamMask 和 SiamRPN++。
• 消融实验确认，即使在结合精炼步骤的情况下，使用椭圆角度替代 MAB 角度仍能显著提升跟踪性能。