[论文解读] Dual Prototype Attention for Unsupervised Video Object Segmentation

Suhwan Cho, Minhyeok Lee+5 more|arXiv (Cornell University)|Nov 22, 2022

Visual Attention and Saliency Detection被引用 4

一句话总结

本文提出双原型注意力（DPA），一种新颖的无监督视频实例分割框架，引入跨模态注意力（IMA）以自适应融合外观与运动特征，并引入跨帧注意力（IFA）通过基于原型的记忆库实现全局视频上下文传播。该方法在DAVIS 2016、FBMS和YouTube-Objects基准上实现了最先进性能，精度与效率均显著优于先前方法，同时保持较低计算成本。

ABSTRACT

Unsupervised video object segmentation (VOS) aims to detect and segment the most salient object in videos. The primary techniques used in unsupervised VOS are 1) the collaboration of appearance and motion information; and 2) temporal fusion between different frames. This paper proposes two novel prototype-based attention mechanisms, inter-modality attention (IMA) and inter-frame attention (IFA), to incorporate these techniques via dense propagation across different modalities and frames. IMA densely integrates context information from different modalities based on a mutual refinement. IFA injects global context of a video to the query frame, enabling a full utilization of useful properties from multiple frames. Experimental results on public benchmark datasets demonstrate that our proposed approach outperforms all existing methods by a substantial margin. The proposed two components are also thoroughly validated via ablative study.

研究动机与目标

• 解决现有无监督视频实例分割方法在多模态融合与时序聚合方面的局限性。
• 通过模态间密集的相互优化，提升对不可靠外观或运动线索的鲁棒性。
• 在不依赖首帧或迭代优化的前提下，高效利用全局视频上下文，避免高计算开销。
• 通过引入具有空间知识的结构化原型，将像素级特征转化为原型级表示，增强特征表征能力。
• 在标准无监督VOS基准上实现最先进性能，同时保持推理效率。

提出的方法

• 引入跨模态注意力（IMA），通过自适应注意力机制的特征传播，在外观与运动分支之间实现相互特征优化。
• 采用跨帧注意力（IFA），将采样帧的特征存储于外部记忆库中，并自适应地为每个查询帧检索全局上下文。
• 采用基于原型的框架，将像素级特征转换为原型级表征，提升空间结构感知能力与鲁棒性。
• 采用双流编码器-解码器架构，平行处理RGB图像与光流图，将IMA与异构注意力模块集成于关键阶段。
• 利用记忆库机制存储并检索多帧特征，实现在无需迭代优化的前提下充分利用完整视频上下文。
• 应用自适应注意力机制，根据跨模态与跨帧的相关性动态分配特征重要性。

实验结果

研究问题

• RQ1 双注意力机制是否能通过实现外观与运动特征之间的密集、相互优化，提升无监督视频实例分割中的多模态融合性能？
• RQ2 跨帧注意力是否能有效将全局视频上下文注入每个查询帧，而无需依赖首帧或迭代优化，从而提升时序一致性？
• RQ3 引入基于原型的表征学习框架是否能提升无监督VOS中的特征质量与鲁棒性？
• RQ4 所提方法是否能在保持低计算复杂度的前提下，实现在标准基准上的最先进性能？
• RQ5 消融研究中，各组件（IMA、异构注意力、原型框架）对整体性能提升的贡献如何？

主要发现

• 在DAVIS 2016验证集上，DPA在512×512分辨率下达到87.6%的平均JIoU得分，较先前最先进方法HFAN高出0.3%。
• 在FBMS测试集上，DPA较次优方法高出1.1%的JIoU得分，展现出在多目标场景下的强鲁棒性。
• 在具有挑战性的YouTube-Objects数据集中，DPA在10个类别中的4个排名第一，平均JIoU达87.4%，全面超越所有先前方法。
• 消融研究证实，IMA与异构注意力均对性能有显著贡献，而原型框架进一步提升了特征质量与泛化能力。
• 模型保持了高推理效率，在单张RTX 3090 GPU上，352×352分辨率下每视频推理时间仅为25.4秒，优于计算成本更高的方法。
• 定性结果表明，DPA在快速运动与遮挡条件下仍能保持稳定跟踪，而其他方法因背景干扰而失效。