[论文解读] Context-Aware Image Matting for Simultaneous Foreground and Alpha Estimation

Qiqi Hou, Feng Liu|arXiv (Cornell University)|Sep 20, 2019

Image Enhancement Techniques参考文献 51被引用 11

一句话总结

本文提出了一种上下文感知的深度学习框架，用于从单张自然图像中同时估计前景和 alpha 贴图，采用双编码器-双解码器架构，融合局部特征与全局上下文信息。通过结合拉普拉斯损失和感知特征损失，并辅以有效的数据增强策略，该方法在仅使用合成数据进行训练的情况下，仍能生成高质量、视觉上合理的贴图结果，性能达到当前最先进水平。

ABSTRACT

Natural image matting is an important problem in computer vision and graphics. It is an ill-posed problem when only an input image is available without any external information. While the recent deep learning approaches have shown promising results, they only estimate the alpha matte. This paper presents a context-aware natural image matting method for simultaneous foreground and alpha matte estimation. Our method employs two encoder networks to extract essential information for matting. Particularly, we use a matting encoder to learn local features and a context encoder to obtain more global context information. We concatenate the outputs from these two encoders and feed them into decoder networks to simultaneously estimate the foreground and alpha matte. To train this whole deep neural network, we employ both the standard Laplacian loss and the feature loss: the former helps to achieve high numerical performance while the latter leads to more perceptually plausible results. We also report several data augmentation strategies that greatly improve the network's generalization performance. Our qualitative and quantitative experiments show that our method enables high-quality matting for a single natural image. Our inference codes and models have been made publicly available at https://github.com/hqqxyy/Context-Aware-Matting.

研究动机与目标

• 为解决单张自然图像贴图问题的病态性质，通过联合估计前景和 alpha 贴图来应对。
• 通过整合局部视觉细节与全局上下文信息，提升贴图质量。
• 克服现有深度学习方法仅预测 alpha 贴图而无法重建前景的局限性。
• 尽管在合成数据集上进行训练，仍能有效泛化至真实世界图像。
• 通过损失设计与数据增强，实现感知质量优越且数值准确的贴图结果。

提出的方法

• 该方法采用双编码器-双解码器全卷积神经网络：贴图编码器捕捉局部特征，上下文编码器捕捉全局上下文。
• 来自两个编码器的特征被拼接后，分别输入至前景图像和 alpha 贴图预测的解码器。
• 网络通过结合拉普拉斯损失以保证数值准确性，以及感知特征损失以提升感知质量进行训练。
• 应用如 Re-JPEGING 和高斯模糊等数据增强策略，以提升对真实世界图像变化的鲁棒性。
• 模型在 Xu 等人 [52] 提供的合成数据集上进行训练，但能有效泛化至真实世界测试图像。
• 推理代码与训练好的模型已公开发布于 GitHub，以支持可复现性与进一步研究。

Figure 1: Real-world image matting. Our method is able to simultaneously estimate high-quality foreground images and alpha maps from real-world images although trained on a synthetic dataset. Our results keep final structures (the top example) while being free from the common color bleeding problem

实验结果

研究问题

• RQ1 深度学习模型能否从单张自然图像中同时估计前景图像与 alpha 贴图？
• RQ2 与仅依赖局部特征的方法相比，整合局部与全局特征在多大程度上提升了贴图性能？
• RQ3 结合拉普拉斯损失与特征损失在多大程度上同时提升了贴图结果的数值精度与感知质量？
• RQ4 在合成数据上训练的数据增强策略能否有效泛化至真实世界贴图挑战？
• RQ5 与当前最先进水平的非深度学习及深度学习贴图方法相比，该方法在视觉保真度与用户偏好方面表现如何？

主要发现

• 在与 Global Matting [19] 的用户研究中，该方法获得 85.48% 的平均偏好率，表明其具有显著的感知优势。
• 与 Closed-form Matting [27] 对比，偏好率达到 84.11%，证明其在非深度学习最先进方法中也保持一致的用户偏好优势。
• 相比 Deep Matting [52]，偏好率为 77.67%，表明联合估计前景与 alpha 贴图能带来更优的视觉效果。
• 拉普拉斯损失与特征损失的结合，不仅提升了数值精度，还显著改善了感知质量，尤其在处理发丝、蕾丝等精细结构时表现优异。
• 如 Re-JPEGING 和高斯模糊等数据增强技术显著提升了模型在真实世界图像上的泛化能力，尽管训练数据为合成数据。
• 该方法成功缓解了常见的颜色渗色问题，并在具有挑战性的真实世界示例中有效保留了精细细节，如定性对比所示。

Figure 2: The architecture of our matting network. We design a two-encoder-two-decoder network. The matting encoder and the context encoder capture both visual features and more global context information. The features from these two encoders are concatenated and feed to the foreground and the alpha