[论文解读] Mask Guided Matting via Progressive Refinement Network

Qihang Yu, Jianming Zhang+6 more|arXiv (Cornell University)|Dec 12, 2020

Image Enhancement Techniques参考文献 44被引用 4

一句话总结

本文提出掩码引导（Mask Guided, MG）抠图，一种鲁棒的深度学习框架，采用渐进式精炼网络（Progressive Refinement Network, PRN）对粗粒度引导掩码（如Trimap、二值分割或低质量Alpha抠图）进行迭代精炼，同时保持高精度。该方法通过结合自引导精炼与新颖的数据增强策略——随机Alpha混合（Random Alpha Blending），在真实与合成基准上均实现了最先进性能，显著提升了前景颜色估计效果。

ABSTRACT

We propose Mask Guided (MG) Matting, a robust matting framework that takes a general coarse mask as guidance. MG Matting leverages a network (PRN) design which encourages the matting model to provide self-guidance to progressively refine the uncertain regions through the decoding process. A series of guidance mask perturbation operations are also introduced in the training to further enhance its robustness to external guidance. We show that PRN can generalize to unseen types of guidance masks such as trimap and low-quality alpha matte, making it suitable for various application pipelines. In addition, we revisit the foreground color prediction problem for matting and propose a surprisingly simple improvement to address the dataset issue. Evaluation on real and synthetic benchmarks shows that MG Matting achieves state-of-the-art performance using various types of guidance inputs. Code and models are available at https://github.com/yucornetto/MGMatting.

研究动机与目标

• 解决现有抠图方法依赖高质量、特定类型引导输入（如精确Trimap）的局限性。
• 开发一种可泛化的抠图框架，能够鲁棒地处理多种类型与质量的粗粒度掩码，包括Trimap、二值分割和低质量Alpha抠图。
• 通过合成数据生成缓解数据集局限，提升前景颜色预测能力，从而减少合成过程中的伪影（fringing）现象。
• 发布一个新的高质量真实世界抠图基准数据集，以更真实场景下更可靠地评估抠图模型。

提出的方法

• 提出渐进式精炼网络（PRN），在解码过程中实现自引导、迭代式精炼不确定区域，通过多阶段优化提升预测精度。
• 在训练阶段引入引导掩码扰动流程，包括随机二值化、形态学操作和CutMask，以增强对多样化且不完美外部掩码的鲁棒性。
• 采用随机Alpha混合（Random Alpha Blending, RAB）生成合成训练数据，通过将随机Alpha抠图与图像混合，提升前景颜色估计精度，且无需人工标注。
• 在经过数据增强（重新JPEG化、模糊、噪声）的修改版Composition-1k数据集上训练模型，提升对真实世界图像退化的鲁棒性。
• 采用双分支网络架构，共享编码器，解码器分别用于Alpha抠图与前景颜色预测，实现联合优化。
• 在使用增强数据训练时，替换标准合成损失，以避免因数据增强导致的颜色变化引发的标签不匹配问题。

实验结果

研究问题

• RQ1 深度学习抠图模型能否在不进行任务特定微调的情况下，泛化至多样化且低质量的引导掩码（如Trimap、二值分割、软Alpha抠图）？
• RQ2 自引导渐进式精炼在提升抠图质量方面有多有效，特别是在发丝、毛发等细节丰富区域？
• RQ3 通过随机Alpha混合生成的合成数据，在多大程度上能提升前景颜色预测精度，并减少合成图像中的伪影？
• RQ4 在真实世界与合成基准上，所提方法与最先进基于Trimap和无Trimap的抠图模型相比表现如何？
• RQ5 能否训练出一种鲁棒的抠图框架，使其在引导掩码发生侵蚀、膨胀等扰动时仍能保持一致性能？

主要发现

• MG抠图在合成（Composition-1k）与真实世界基准上均达到最先进性能，全图SAD为8.01，MSE为0.0095；细节区域SAD为5.94，MSE为0.0637。
• 模型在引导掩码扰动下保持一致性能：当掩码被侵蚀30像素时，SAD仅从26.8略微上升至27.4，表现出强鲁棒性。
• 与无Trimap方法BSHM [27]相比，MG抠图表现显著更优，全图MSE（0.0095 vs. 0.0155）与SAD（8.01 vs. 10.66）均更低。
• 所提出的随机Alpha混合（RAB）方法提升了前景颜色预测精度，有效减少了合成图像中的伪影，且无需额外标注。
• 模型对未见引导类型泛化良好，包括低质量Alpha抠图与粗糙二值掩码，优于为特定引导类型专门训练的方法。
• 所发布的高质量真实世界抠图基准数据集，使模型在真实场景下的评估更加可靠，弥补了以往研究中此类基准的缺失。