[论文解读] Full-Duplex Strategy for Video Object Segmentation

Ge-Peng Ji, Deng-Ping Fan+4 more|arXiv (Cornell University)|Aug 6, 2021

Visual Attention and Saliency Detection参考文献 137被引用 11

一句话总结

本文提出全双工策略网络（FSNet），一种用于视频实例分割的新框架，通过关系交叉注意力模块（RCAM）和双向净化模块（BPM），实现外观与运动线索之间的双向特征交互。该方法在五个基准测试中达到最先进性能，显著提升了对运动模糊和遮挡的鲁棒性，同时通过模态间的相互抑制有效减少了特征漂移。

ABSTRACT

Previous video object segmentation approaches mainly focus on using simplex solutions between appearance and motion, limiting feature collaboration efficiency among and across these two cues. In this work, we study a novel and efficient full-duplex strategy network (FSNet) to address this issue, by considering a better mutual restraint scheme between motion and appearance in exploiting the cross-modal features from the fusion and decoding stage. Specifically, we introduce the relational cross-attention module (RCAM) to achieve bidirectional message propagation across embedding sub-spaces. To improve the model's robustness and update the inconsistent features from the spatial-temporal embeddings, we adopt the bidirectional purification module (BPM) after the RCAM. Extensive experiments on five popular benchmarks show that our FSNet is robust to various challenging scenarios (e.g., motion blur, occlusion) and achieves favourable performance against existing cutting-edges both in the video object segmentation and video salient object detection tasks. The project is publicly available at: https://dpfan.net/FSNet.

研究动机与目标

• 解决现有视频实例分割方法依赖于外观与运动特征单向或无方向融合的局限性。
• 通过外观与运动模态之间的相互抑制，提升特征一致性并减少短期特征漂移。
• 构建一个统一的深度学习框架，通过双向信息流有效利用时空表征。
• 在运动模糊、遮挡和杂乱背景等挑战性场景下提升鲁棒性。

提出的方法

• 引入关系交叉注意力模块（RCAM），实现在外观与运动嵌入子空间之间的双向信息传递。
• 采用双向净化模块（BPM），通过迭代利用高层表示来优化低层特征，以纠正不一致的特征。
• 在BPM中使用交错的递减连接，以集合到点的方式将高层特征广播至低层特征。
• 应用全双工策略，实现在编码与解码过程中外观分支与运动分支的同步、相互引导。
• 集成CRF后处理步骤，进一步优化分割掩码。
• 设计自净化基线，以消融分析双向交互与模型复杂度的贡献差异。

实验结果

研究问题

• RQ1 与单向或无方向融合相比，外观与运动特征之间的双向交互是否能提升视频实例分割性能？
• RQ2 外观与运动线索之间的相互抑制如何减少时间序列中的特征漂移？
• RQ3 所提出的双向净化机制是否在纠正不一致特征方面优于单向或自净化基线？
• RQ4 全双工策略在运动模糊和遮挡等挑战性视觉条件下，能在多大程度上提升鲁棒性？
• RQ5 所提出的框架是否能在较少标注训练数据下实现最先进性能？

主要发现

• FSNet在五个基准测试中达到新的最先进性能，包括DAVIS16、YouTube-VOS和MCL，在DAVIS16上的平均交并比达到86.7%。
• 与具有相似架构的自净化基线相比，FSNet在DAVIS16上Sα提升2.1%，在MCL上提升1.0%。
• 即使仅使用13K张训练样本，FSNet也超越了最佳无监督VOS模型（MAT），且在少于MAT所用16K样本的情况下表现更优。
• 双向净化模块（BPM）贡献显著，相比自净化变体提升2.1%，验证了真正双向交互的优势。
• 全双工策略有效减少特征漂移并提升结构细节的准确性，视觉对比显示其优于单工策略。
• 大量消融实验表明，性能提升源于双向交互，而非单纯模型复杂度的增加。