[论文解读] Deep Image Matting

Ning Xu, Brian Price+2 more|arXiv (Cornell University)|Mar 10, 2017

Image Enhancement Techniques参考文献 23被引用 33

一句话总结

本文提出了一种基于深度学习的图像抠图方法，结合卷积编码器-解码器网络与优化网络，以提升 alpha 抠图预测的性能。通过同时利用低层次特征与高层次上下文信息，该模型在基准数据集和真实世界图像上均实现了最先进水平的性能表现，尤其在前景与背景颜色相近或纹理复杂的挑战性场景中表现优异。

ABSTRACT

Image matting is a fundamental computer vision problem and has many applications. Previous algorithms have poor performance when an image has similar foreground and background colors or complicated textures. The main reasons are prior methods 1) only use low-level features and 2) lack high-level context. In this paper, we propose a novel deep learning based algorithm that can tackle both these problems. Our deep model has two parts. The first part is a deep convolutional encoder-decoder network that takes an image and the corresponding trimap as inputs and predict the alpha matte of the image. The second part is a small convolutional network that refines the alpha matte predictions of the first network to have more accurate alpha values and sharper edges. In addition, we also create a large-scale image matting dataset including 49300 training images and 1000 testing images. We evaluate our algorithm on the image matting benchmark, our testing set, and a wide variety of real images. Experimental results clearly demonstrate the superiority of our algorithm over previous methods.

研究动机与目标

• 解决先前图像抠图方法在前景与背景颜色相近或纹理复杂时表现不佳的问题。
• 通过引入高层次上下文信息，克服以往方法仅依赖低层次特征的局限性。
• 构建一个联合预测 alpha 抠图并进行优化的深度学习框架，以实现更锐利的边缘与更精确的值。
• 构建一个大规模图像抠图数据集，包含 49,300 张训练图像与 1,000 张测试图像，以支持模型的稳健训练与评估。

提出的方法

• 采用深度卷积编码器-解码器网络，输入为原始图像与对应的 trimap，以预测初始 alpha 抠图。
• 集成一个小型专用卷积网络，对初始 alpha 抠图预测结果进行优化，以提升精度与边缘锐度。
• 将 trimap 作为条件输入，引导网络准确区分前景与背景区域。
• 通过最小化预测结果与真实 alpha 抠图之间差异的损失函数，实现端到端的模型训练。
• 通过编码器-解码器架构中的分层特征学习，同时利用低层次图像细节与高层次语义上下文信息。
• 利用包含 49,300 张训练图像与 1,000 张测试图像的大规模数据集，提升模型的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 深度学习模型能否在前景与背景颜色对比度较低的情况下有效提升图像抠图性能？
• RQ2 与仅依赖低层次特征的模型相比，高层次上下文特征在多大程度上能提升 alpha 抠图预测的准确性？
• RQ3 两阶段优化方法（先预测后优化）是否相较于单阶段方法能获得更优的边缘质量与 alpha 值精度？
• RQ4 所提出的方法在控制性基准数据集之外的真实世界图像上是否具备良好的泛化能力？

主要发现

• 所提方法在标准图像抠图基准测试中表现优异，超越了以往最先进方法。
• 该模型在处理前景与背景颜色相近的图像时表现出显著改进，而此前的方法常在此类场景中失效。
• 优化网络能有效提升边缘锐度，并减少预测 alpha 抠图中的模糊现象。
• 包含 49,300 张训练图像与 1,000 张测试图像的大规模数据集，使模型训练更加稳健，评估结果更加可靠。
• 在基准数据集与真实世界图像上的定量结果证实，该模型在多样化且具有挑战性的场景中均表现出色。