[论文解读] DMM-Net: Differentiable Mask-Matching Network for Video Object Segmentation

Xiaohui Zeng, Renjie Liao+4 more|arXiv (Cornell University)|Sep 27, 2019

Advanced Neural Network Applications参考文献 45被引用 9

一句话总结

DMM-Net 提出了一种基于展开的投影梯度下降法与 Dykstra 算法的可微分掩码匹配层，用于在弱监督设置下解决视频实例分割任务。该方法在 DAVIS 2017 上达到最先进性能，在 YouTube-VOS 和 SegTrack v2 上取得具有竞争力的结果，且无需在线学习或微调，得益于端到端可训练的匹配与掩码优化。

ABSTRACT

In this paper, we propose the differentiable mask-matching network (DMM-Net) for solving the video object segmentation problem where the initial object masks are provided. Relying on the Mask R-CNN backbone, we extract mask proposals per frame and formulate the matching between object templates and proposals at one time step as a linear assignment problem where the cost matrix is predicted by a CNN. We propose a differentiable matching layer by unrolling a projected gradient descent algorithm in which the projection exploits the Dykstra's algorithm. We prove that under mild conditions, the matching is guaranteed to converge to the optimum. In practice, it performs similarly to the Hungarian algorithm during inference. Meanwhile, we can back-propagate through it to learn the cost matrix. After matching, a refinement head is leveraged to improve the quality of the matched mask. Our DMM-Net achieves competitive results on the largest video object segmentation dataset YouTube-VOS. On DAVIS 2017, DMM-Net achieves the best performance without online learning on the first frames. Without any fine-tuning, DMM-Net performs comparably to state-of-the-art methods on SegTrack v2 dataset. At last, our matching layer is very simple to implement; we attach the PyTorch code ($<50$ lines) in the supplementary material. Our code is released at https://github.com/ZENGXH/DMM_Net.

研究动机与目标

• 为解决在仅第一帧提供真实掩码的弱监督设置下，实现时间上一致且准确的视频实例分割挑战。
• 克服如匈牙利算法等最优匹配算法的不可微性，该问题阻碍了分割模型中的端到端训练。
• 通过学习可微分的代价矩阵来改进掩码传播，提升对外观变化、遮挡和运动的处理能力。
• 在不依赖在线学习或大量微调的前提下，实现在长视频序列中高质量且稳定的分割结果。
• 设计一种简单、高效且可微分的匹配层，可无缝集成到现有分割框架中。

提出的方法

• 使用 Mask R-CNN 主干网络为每帧独立提取掩码提议。
• 通过 IoU 和特征余弦相似度定义模板掩码（来自第一帧）与当前帧提议之间的代价矩阵。
• 通过展开投影梯度下降算法并结合 Dykstra 的循环投影方法，引入可微分匹配层。
• 在温和条件下保证收敛至最优解，并支持通过匹配过程进行反向传播。
• 在匹配后应用优化头以提升匹配掩码的质量。
• 端到端训练整个网络，使代价矩阵与优化头可联合优化。

实验结果

研究问题

• RQ1 能否设计一种匈牙利算法的可微分近似方法，在保持最优性的同时支持视频实例分割中的反向传播？
• RQ2 与不可微基线相比，使用可微分匹配层进行端到端训练在分割精度和时间一致性方面有何提升？
• RQ3 在无微调条件下，该方法在具有挑战性场景（如遮挡和外观变化）下的泛化能力如何？
• RQ4 展开步数与主干网络架构对可微分匹配层的性能与训练效率有何影响？
• RQ5 可微分匹配层能否与优化头有效结合，在无需额外监督的情况下进一步提升掩码质量？

主要发现

• 所提出的可微分匹配层在推理阶段性能与匈牙利算法相当，在 YouTube-VOS 上达到平均 IoU 59.0 和 F-measure 71.7。
• 端到端微调显著提升性能，YouTube-VOS 验证集上的平均 IoU 从 57.3 提升至 60.2，F-measure 从 68.4 提升至 73.0。
• 在无任何微调或在线学习的情况下，DMM-Net 在 SegTrack v2 上取得具有竞争力的结果，展现出强大的泛化能力。
• 在弱监督设置下，DMM-Net 在 DAVIS 2017 上实现最先进性能，优于现有方法且无需在线适应。
• 在优化网络中展开超过 2 步后收益递减且显存成本上升，表明 2–3 步为最优选择。
• 可微分匹配层实现简单（PyTorch 中少于 50 行代码），可轻松集成到现有分割框架中。