[论文解读] BoLTVOS: Box-Level Tracking for Video Object Segmentation

Paul Voigtlaender, Jonathon Luiten+1 more|arXiv (Cornell University)|Apr 9, 2019

Visual Attention and Saliency Detection参考文献 51被引用 14

一句话总结

BoLTVOS 提出了一种两阶段视频实例分割框架，首先通过带时间一致性重评分的条件 R-CNN 利用边界框跟踪目标，然后应用 Box2Seg 生成分割掩码。该方法在 DAVIS 2017 和 YouTube-VOS 上实现了最先进性能，无需第一帧掩码微调，优于该类别中所有先前方法，且推理速度比之前最佳方法 PReMVOS 快达 45 倍。

ABSTRACT

We approach video object segmentation (VOS) by splitting the task into two sub-tasks: bounding box level tracking, followed by bounding box segmentation. Following this paradigm, we present BoLTVOS (Box-Level Tracking for VOS), which consists of an R-CNN detector conditioned on the first-frame bounding box to detect the object of interest, a temporal consistency rescoring algorithm, and a Box2Seg network that converts bounding boxes to segmentation masks. BoLTVOS performs VOS using only the firstframe bounding box without the mask. We evaluate our approach on DAVIS 2017 and YouTube-VOS, and show that it outperforms all methods that do not perform first-frame fine-tuning. We further present BoLTVOS-ft, which learns to segment the object in question using the first-frame mask while it is being tracked, without increasing the runtime. BoLTVOS-ft outperforms PReMVOS, the previously best performing VOS method on DAVIS 2016 and YouTube-VOS, while running up to 45 times faster. Our bounding box tracker also outperforms all previous short-term and longterm trackers on the bounding box level tracking datasets OTB 2015 and LTB35. A newer version of this work can be found at arXiv:1911.12836.

研究动机与目标

• 解决半监督视频实例分割（VOS）中人类标注最少的挑战，特别是避免耗时的第一帧掩码标注。
• 通过提升框级别跟踪与分割性能，改进仅使用第一帧边界框的 VOS 方法第三类别的性能。
• 开发一种在保持高精度的同时，显著降低推理时间的方法，相较于基于掩码微调的方法更具优势。
• 在短时和长时视觉目标跟踪任务中均实现最先进结果，展现出对目标遮挡和重新出现的鲁棒性。

提出的方法

• 使用条件 R-CNN 检测器，以第一帧边界框为条件，在后续帧中检测目标对象。
• 提出一种时间一致性重评分算法，通过建模基于轨迹的动态规划并处理干扰物体，提升检测可靠性。
• 采用两阶段 R-CNN 架构，引入一种新颖的条件第二阶段，通过拼接模板特征与区域提议特征后进行相似度预测。
• 利用 Box2Seg 网络从预测的边界框生成分割掩码，将分割视为后处理步骤。
• 引入 BoLTVOS-ft 变体，在跟踪过程中并行执行第一帧掩码微调，而不增加运行时间。
• 利用图像全局特征比较而非局部搜索窗口，实现对目标消失后的恢复与重新检测。

实验结果

研究问题

• RQ1 视频实例分割能否有效解耦为框级别跟踪与边界框分割，从而提升性能与效率？
• RQ2 具有全局特征比较与时间一致性重评分的条件 R-CNN 是否能在长时跟踪场景中超越现有跟踪方法？
• RQ3 采用特征拼接进行相似度预测的两阶段跟踪方法是否能提升对遮挡与跟踪漂移的鲁棒性？
• RQ4 仅使用第一帧边界框的方法能否实现与使用第一帧掩码的方法相当或更优的性能，同时显著更快？
• RQ5 能否在不增加推理时间的前提下，将第一帧掩码的端到端微调集成到跟踪流水线中？

主要发现

• BoLTVOS 在 LTB35 长时跟踪基准上实现了新的最先进 F 分数 66.2%，比之前最佳方法 MBMD 提升 3.3 个百分点。
• 在 OTB2015 上，BoLTVOS 达到 AUC 得分 69.7%，略高于之前最佳方法 SiamRPN++ 的 69.6%。
• 在 DAVIS 2017 和 YouTube-VOS 上，BoLTVOS 超过所有不使用第一帧掩码微调的方法，并与许多使用掩码微调的方法持平或更优。
• BoLTVOS-ft 在 DAVIS 2016 和 YouTube-VOS 上的性能优于 PReMVOS，且推理速度最快可达其 45 倍。
• 时间一致性重评分算法使 LTB35 上的最大 F 分数提升了 3.3 个百分点（从 63.4% 提升至 66.2%），证明其在应对长时跟踪挑战方面的有效性。
• 该跟踪器在 LTB35 和 OTB2015 上均以 1.43 帧/秒的速度运行，展现出在保持高精度的同时具有极强的效率。