[论文解读] Kernelized Memory Network for Video Object Segmentation

Hongje Seong, Junhyuk Hyun+1 more|arXiv (Cornell University)|Jul 16, 2020

Visual Attention and Saliency Detection参考文献 52被引用 11

一句话总结

本文提出了一种核化记忆网络（KMN），用于半监督视频对象分割，通过引入高斯核来抑制时空记忆网络（STM）中固有的非局部匹配偏差，从而实现局部对应。通过在静态图像上使用Hide-and-Seek数据增强策略进行预训练，提升了对遮挡的鲁棒性并提高了边界精度，在DAVIS 2017上实现了5%的mAP提升，且每帧推理速度达到0.12秒。

ABSTRACT

Semi-supervised video object segmentation (VOS) is a task that involves predicting a target object in a video when the ground truth segmentation mask of the target object is given in the first frame. Recently, space-time memory networks (STM) have received significant attention as a promising solution for semi-supervised VOS. However, an important point is overlooked when applying STM to VOS. The solution (STM) is non-local, but the problem (VOS) is predominantly local. To solve the mismatch between STM and VOS, we propose a kernelized memory network (KMN). Before being trained on real videos, our KMN is pre-trained on static images, as in previous works. Unlike in previous works, we use the Hide-and-Seek strategy in pre-training to obtain the best possible results in handling occlusions and segment boundary extraction. The proposed KMN surpasses the state-of-the-art on standard benchmarks by a significant margin (+5% on DAVIS 2017 test-dev set). In addition, the runtime of KMN is 0.12 seconds per frame on the DAVIS 2016 validation set, and the KMN rarely requires extra computation, when compared with STM.

研究动机与目标

• 解决时空记忆网络（STM）的非局部特性与视频对象分割（VOS）主要局部性质之间的不匹配问题。
• 提升对遮挡和分割掩码边界不准确性的鲁棒性，尤其是在物体边缘处。
• 开发一种记忆网络，在实现半监督VOS最先进性能的同时保持高推理速度。
• 探索将Hide-and-Seek作为分割任务预训练策略的潜力，特别是用于优化边界预测。

提出的方法

• 引入基于高斯核的核化记忆读取操作，以实现查询与记忆特征之间的局部匹配，减少虚假的非局部匹配。
• 在静态图像的预训练过程中使用Hide-and-Seek数据增强，以模拟遮挡并生成更清晰、更精确的掩码边界。
• 在ImageNet风格的静态图像上使用Hide-and-Seek进行网络预训练，以提升泛化能力，之后再在视频数据集上微调。
• 采用标准的QKV（查询-键-值）机制，但通过引入空间受限的高斯核来修改相关性计算，以优先考虑局部上下文。
• 在视频帧的推理过程中应用相同的核化记忆模块，从而保持快速的推理速度。
• 采用离线方式训练模型，使用固定参数，避免对每个视频序列进行在线适应。

实验结果

研究问题

• RQ1 核化记忆机制是否能减少基于STM的VOS模型中固有的非局部匹配错误？
• RQ2 使用Hide-and-Seek策略进行预训练是否能提升模型对遮挡的泛化能力及边界精度？
• RQ3 核化记忆网络是否能在保持低推理延迟的前提下实现最先进性能，相比在线学习方法？
• RQ4 Hide-and-Seek在预训练过程中在多大程度上提升了掩码边界的质量？

主要发现

• KMN在DAVIS 2017测试开发集上相比之前最先进方法实现了5.0%的绝对mAP提升，达到88.1%的mAP。
• 该模型在DAVIS 2016验证集上每帧推理耗时0.12秒，显著快于在线学习方法，且与STM相当。
• 消融实验证实，核化记忆和Hide-and-Seek预训练均独立且显著地贡献于性能提升。
• 像素级损失的可视化显示，Hide-and-Seek能有效减少边界噪声，证实其在生成清晰、精确掩码监督方面的有效性。
• 定性结果表明，该方法在遮挡、快速形变以及背景相似物体等挑战性场景下表现更优。
• 该方法在所有基准测试中（包括DAVIS 2016、DAVIS 2017和YouTube-VOS）均优于甚至超越了在线学习方法，且无需对每个视频序列进行适应。