[论文解读] Collaborative Video Object Segmentation by Multi-Scale Foreground-Background Integration

Zongxin Yang, Yunchao Wei+1 more|arXiv (Cornell University)|Oct 13, 2020

Visual Attention and Saliency Detection参考文献 49被引用 8

一句话总结

该论文提出了一种新型的半监督视频实例分割框架CFBI+，通过在多尺度下联合学习前景和背景特征嵌入，显著提升了性能。通过结合像素级与实例级匹配，并采用高效的空洞匹配策略，CFBI+在DAVIS 2017和YouTube-VOS上分别取得了82.9%和82.8%的最先进性能，且无需预训练或微调。

ABSTRACT

This paper investigates the principles of embedding learning to tackle the challenging semi-supervised video object segmentation. Unlike previous practices that focus on exploring the embedding learning of foreground object (s), we consider background should be equally treated. Thus, we propose a Collaborative video object segmentation by Foreground-Background Integration (CFBI) approach. CFBI separates the feature embedding into the foreground object region and its corresponding background region, implicitly promoting them to be more contrastive and improving the segmentation results accordingly. Moreover, CFBI performs both pixel-level matching processes and instance-level attention mechanisms between the reference and the predicted sequence, making CFBI robust to various object scales. Based on CFBI, we introduce a multi-scale matching structure and propose an Atrous Matching strategy, resulting in a more robust and efficient framework, CFBI+. We conduct extensive experiments on two popular benchmarks, i.e., DAVIS and YouTube-VOS. Without applying any simulated data for pre-training, our CFBI+ achieves the performance (J&F) of 82.9% and 82.8%, outperforming all the other state-of-the-art methods. Code: https://github.com/z-x-yang/CFBI.

研究动机与目标

• 解决视频实例分割中的背景混淆问题，即相似背景物体误导前景预测。
• 提出一种协作学习框架，将前景和背景嵌入同等对待，以提升特征的对比性。
• 通过整合像素级与实例级匹配机制，增强对不同物体尺度的鲁棒性。
• 通过空洞匹配策略提升推理效率并降低内存占用，同时不损失性能。
• 设计一种平衡的随机裁剪训练方案，防止模型对背景特征产生偏差。

提出的方法

• 将特征嵌入分离为前景和背景区域，以促进两者之间的对比学习。
• 引入多尺度匹配结构，在多个感受野尺寸下执行像素级匹配。
• 应用实例级注意力机制，利用全局上下文指导大尺度物体的分割。
• 设计空洞匹配（AM）策略，利用空洞卷积减少匹配操作中的计算量与内存占用。
• 实施一种顺序训练方案，利用前一帧的预测掩码作为监督信号，提升时序一致性。
• 在训练过程中采用平衡的随机裁剪策略，确保前景与背景区域的表示均衡，降低偏差。

实验结果

研究问题

• RQ1 联合学习前景与背景嵌入是否能提升半监督视频实例分割的分割精度？
• RQ2 整合多尺度像素级与实例级匹配机制在应对物体尺度变化时，如何增强模型鲁棒性？
• RQ3 空洞匹配策略在多大程度上提升了效率而不降低性能？
• RQ4 平衡的随机裁剪训练策略是否能有效减少模型对背景特征的偏差？
• RQ5 协同前景-背景特征融合是否能缓解场景中存在相似物体时的背景混淆问题？

主要发现

• CFBI+在DAVIS 2017和YouTube-VOS上分别实现了82.9%的平均IoU和82.8%的F-measure，达到最先进性能，且无需预训练或微调。
• 消融实验证实，多局部匹配（vs. 单局部）将性能提升1.1%（74.9% vs. 73.8%），证明其鲁棒性。
• 将协作集成器替换为动态分割头后性能下降1.6%，证明所提出的融合机制具有优越性。
• 采用平衡随机裁剪相比标准随机裁剪，准确率提升2.1%（从72.8%提升至74.9%），验证了其在减少背景偏差方面的有效性。
• 关闭实例级注意力后性能降至72.7%，证实其在与像素级特征结合时对提升分割精度具有关键作用。
• CFBI+在小物体、遮挡以及存在多个相似物体（如10名舞者）等复杂场景下泛化能力良好，性能保持稳定。