[论文解读] 1st Place Solution for YouTubeVOS Challenge 2021:Video Instance Segmentation

Nguyễn Thúy Chinh, Tuan N. Tang+4 more|arXiv (Cornell University)|Jun 11, 2021

Video Surveillance and Tracking Methods被引用 4

一句话总结

本论文提出了YouTube-VIS 2021挑战赛的第一名解决方案，提出了一种统一的视频实例分割模型，该模型利用时序相关实例分割（TCIS）、多源数据（MSD）训练以缓解帧冗余问题，并采用双向追踪（BiTrack）以提升目标召回率。该方法在公开验证集上实现了0.575 mAP的最先进性能，在私有测试集上达到0.541 mAP，刷新了YouTube-VIS 2019与2021基准的记录。

ABSTRACT

Video Instance Segmentation (VIS) is a multi-task problem performing detection, segmentation, and tracking simultaneously. Extended from image set applications, video data additionally induces the temporal information, which, if handled appropriately, is very useful to identify and predict object motions. In this work, we design a unified model to mutually learn these tasks. Specifically, we propose two modules, named Temporally Correlated Instance Segmentation (TCIS) and Bidirectional Tracking (BiTrack), to take the benefit of the temporal correlation between the object's instance masks across adjacent frames. On the other hand, video data is often redundant due to the frame's overlap. Our analysis shows that this problem is particularly severe for the YoutubeVOS-VIS2021 data. Therefore, we propose a Multi-Source Data (MSD) training mechanism to compensate for the data deficiency. By combining these techniques with a bag of tricks, the network performance is significantly boosted compared to the baseline, and outperforms other methods by a considerable margin on the YoutubeVOS-VIS 2019 and 2021 datasets.

研究动机与目标

• 解决YouTube-VIS 2021等视频实例分割数据集中存在的高帧冗余与低数据效率问题。
• 通过统一模型联合学习检测、分割与追踪，提升视频实例分割性能。
• 通过一种新颖的多源数据（MSD）训练机制，提升数据多样性，增强模型泛化能力与鲁棒性。
• 通过引入双向追踪（BiTrack），正向与反向处理视频流，以恢复丢失目标，提升追踪准确率与召回率。
• 通过架构创新与实用训练技巧的结合，在YouTube-VIS 2019与2021基准上实现最先进性能。

提出的方法

• 提出时序相关实例分割（TCIS）模块，显式建模相邻帧间实例掩码的时序依赖关系，以提升一致性与准确性。
• 引入多源数据（MSD）训练机制，整合来自不同视频片段与帧采样策略的数据，提升数据多样性，降低对冗余帧的过拟合。
• 采用双向追踪（BiTrack）后处理步骤，分别正向与反向运行追踪，再合并结果，以恢复更完整的物体轨迹。
• 使用基于Mask R-CNN的主干网络，配备六层特征金字塔网络（FPN）及额外的P7特征层级，以增强多尺度特征表示能力。
• 采用多任务学习框架，共享检测、分割与追踪的特征表示，包含用于掩码评分与语义分割的辅助头。
• 在验证集上应用模型集成与伪标签技术，进一步提升性能，尤其在私有测试集上表现显著。

实验结果

研究问题

• RQ1 如何有效利用相邻帧之间的时序相关性，以提升视频实例分割性能？
• RQ2 YouTube-VIS 2021中的帧冗余在多大程度上损害模型性能？如何提升数据效率？
• RQ3 双向追踪能否提升视频实例分割中的目标召回率与轨迹完整性？
• RQ4 TCIS与MSD等架构组件在低数据或冗余数据场景下，如何促进模型泛化与鲁棒性？
• RQ5 哪些训练技巧与模型集成策略的组合能在YouTube-VIS 2021与2019基准上实现最高性能？

主要发现

• 所提方法在YouTube-VIS 2021公开验证集上达到0.575 mAP，获得第一名，并创下新的最先进基准记录。
• 在私有测试集上，方法实现0.541 mAP，展现出超越验证集的强泛化能力与鲁棒性。
• 在YouTube-VIS 2019基准上，模型达到0.543 mAP，显著优于此前最先进方法（MaskProp）的11.0% mAP提升。
• 消融实验表明，TCIS、MSD与BiTrack各自单独贡献超过2% mAP的提升，三者联合使用使性能相较基线提升约8% mAP。
• 实用技巧组合（如更大主干网络ResNeSt101、Swin-S，伪标签与模型集成）使mAP较标准主干网络提升15%以上，凸显实用训练策略的重要性。
• 可视化结果表明，该模型在帧间能准确检测、分割与追踪目标，实例掩码保持一致，身份颜色编码清晰可靠。