[论文解读] Anchor Diffusion for Unsupervised Video Object Segmentation

Zhao Yang, Qiang Wang+4 more|arXiv (Cornell University)|Oct 24, 2019

Visual Attention and Saliency Detection参考文献 67被引用 21

一句话总结

本文提出锚点扩散网络（AD-Net），一种新颖的无监督视频对象分割方法，通过使用类似非局部注意力机制，学习参考'锚点'帧与当前帧之间的密集像素级相似性，从而建模长期时间依赖关系。AD-Net 不依赖循环神经网络或光流，仅使用单个锚点帧，在 DAVIS-2016 数据集上实现了 81.7% 的平均 IoU，超越以往无监督方法 2.2%，且对长期漂移具有鲁棒性。

ABSTRACT

Unsupervised video object segmentation has often been tackled by methods based on recurrent neural networks and optical flow. Despite their complexity, these kinds of approaches tend to favour short-term temporal dependencies and are thus prone to accumulating inaccuracies, which cause drift over time. Moreover, simple (static) image segmentation models, alone, can perform competitively against these methods, which further suggests that the way temporal dependencies are modelled should be reconsidered. Motivated by these observations, in this paper we explore simple yet effective strategies to model long-term temporal dependencies. Inspired by the non-local operators of [70], we introduce a technique to establish dense correspondences between pixel embeddings of a reference "anchor" frame and the current one. This allows the learning of pairwise dependencies at arbitrarily long distances without conditioning on intermediate frames. Without online supervision, our approach can suppress the background and precisely segment the foreground object even in challenging scenarios, while maintaining consistent performance over time. With a mean IoU of $81.7\%$, our method ranks first on the DAVIS-2016 leaderboard of unsupervised methods, while still being competitive against state-of-the-art online semi-supervised approaches. We further evaluate our method on the FBMS dataset and the ViSal video saliency dataset, showing results competitive with the state of the art.

研究动机与目标

• 解决由循环或基于光流的时间建模导致的无监督视频对象分割中的长期漂移与误差累积问题。
• 探究简单、非序列化方法是否能在无监督 VOS 中超越复杂的 RNN 或基于光流的模型。
• 探究远距离帧之间的密集、长距离像素级对应关系是否能有效抑制背景并分割前景对象。
• 在无监督和显著性检测设置下，评估该方法在 DAVIS-2016、FBMS 和 ViSal 等多个基准上的泛化能力。

提出的方法

• 该方法使用单个参考帧作为'锚点'帧，其像素嵌入用于与当前帧的嵌入计算密集相似性。
• 采用类似非局部的注意力机制，计算锚点帧像素与当前帧所有像素之间的成对相似性，从而实现长距离依赖建模。
• 相似性图用于特征聚合并生成分割掩码，前景对象通过其空间范围内一致的高相似性被突出显示。
• 通过直接将锚点帧与任意当前帧关联，避免了序列化处理，消除了随时间累积的误差传播。
• 网络通过对比损失端到端训练，以促使锚点帧中的前景像素与当前帧中对应像素具有高相似性。
• 推理过程中无需在线微调或后处理，实现实时、鲁棒的分割。

实验结果

研究问题

• RQ1 能否通过非序列化、基于注意力的方法建模长距离时间依赖，从而超越基于 RNN 或光流的无监督 VOS 方法？
• RQ2 通过学习固定锚点帧与当前帧之间的密集像素级相似性，是否能减少无监督视频分割中的长期漂移？
• RQ3 能否通过引入长距离注意力机制，使一个简单、静态图像分割模型超越复杂的循环或基于光流的架构？
• RQ4 所提方法在 ViSal 等视频显著性基准上的泛化能力如何？

主要发现

• AD-Net 在 DAVIS-2016 无监督 VOS 基准上达到 81.7% 的平均 IoU，位居所有无监督方法第一，超越此前最先进方法 2.2%。
• 在 FBMS 数据集上，AD-Net 的 F-measure 最高，MAE 最低，展现出强大的泛化能力与鲁棒性。
• 在 ViSal 显著性基准上，AD-Net 的 MAE 最低（0.030），且在高达 60% 召回率下保持近乎完美的精确率，优于现有显著性模型。
• 尽管未针对显著性检测进行训练，AD-Net 在 DAVIS 和 FBMS 的显著性指标上仍达到最先进性能，表明其具备强大的迁移能力。
• 该方法在长视频序列中保持一致性能，漂移极小，即使在外观变化或运动不连续情况下也表现稳定。
• 消融实验确认，非局部注意力机制对长距离建模至关重要，若移除该模块，性能将显著下降。