[论文解读] AlphaGAN: Generative adversarial networks for natural image matting

Sebastian Lutz, Konstantinos Amplianitis+1 more|arXiv (Cornell University)|Jul 26, 2018

Image Enhancement Techniques参考文献 26被引用 28

一句话总结

本文提出了 AlphaGAN，这是首个用于自然图像抠图的生成对抗网络（GAN），通过结合空洞卷积编码器-解码器生成器与一个用于区分真实合成图像的对抗性判别器，提升了 alpha 预测性能。该方法在 alphamatting.com 基准测试中达到最先进水平，尤其在感知驱动的梯度误差指标上排名第一，并由于对抗性损失增强了结构清晰度，从而在预测发丝等精细细节方面表现优异。

ABSTRACT

We present the first generative adversarial network (GAN) for natural image matting. Our novel generator network is trained to predict visually appealing alphas with the addition of the adversarial loss from the discriminator that is trained to classify well-composited images. Further, we improve existing encoder-decoder architectures to better deal with the spatial localization issues inherited in convolutional neural networks (CNN) by using dilated convolutions to capture global context information without downscaling feature maps and losing spatial information. We present state-of-the-art results on the alphamatting online benchmark for the gradient error and give comparable results in others. Our method is particularly well suited for fine structures like hair, which is of great importance in practical matting applications, e.g. in film/TV production.

研究动机与目标

• 为解决自然图像抠图的病态性问题，即前景和背景颜色未知，且仅能获取单一合成图像。
• 通过深度学习，特别是生成对抗网络（GANs）的引入，提升 alpha 抠图性能，而该方法此前尚未被应用于此任务。
• 通过增强卷积神经网络（CNN）中的空间定位与全局上下文建模能力，以更准确预测如发丝等精细结构。
• 通过训练判别器来区分真实与预测的 alpha 合成图像，从而生成视觉上合理的合成结果。
• 在 alphamatting.com 基准测试中实现最先进性能，尤其在感知指标与细粒度细节恢复方面表现突出。

提出的方法

• 提出一种基于 GAN 的框架，其中生成器从输入图像中预测 alpha 抠图，判别器则被训练以判断某张合成图像是否使用真实或预测的 alpha 值生成。
• 通过用空洞卷积替代标准卷积，改进生成器架构，以保持空间分辨率并捕获长距离上下文信息，而无需下采样。
• 在 Xu 等人 [33] 的编码器-解码器结构基础上进行架构增强，以提升特征定位与表征能力。
• 引入对抗性损失组件，促使生成器输出的 alpha 预测能生成视觉上逼真的合成图像，从而提升感知质量。
• 通过结合 alpha 预测的 L1 损失与来自判别器的对抗性损失联合训练生成器，以平衡保真度与真实感。
• 使用 alphamatting.com 数据集，包含 431 个独特的前景物体与合成背景，用于训练与评估。

实验结果

研究问题

• RQ1 基于 GAN 的方法能否提升自然图像抠图中 alpha 抠图的视觉质量与结构保真度？
• RQ2 在生成器中使用空洞卷积是否有助于保留空间细节并提升抠图中的定位精度？
• RQ3 通过判别器评估合成图像真实性的对抗性训练，能否带来更好的泛化能力与更清晰的预测结果，特别是在发丝等精细结构上？
• RQ4 在基准数据集的感知与定量指标上，该方法与最先进方法相比表现如何？
• RQ5 该模型能否在具有复杂纹理与精细细节的挑战性图像（如玩偶与半身像）上实现良好泛化？

主要发现

• AlphaGAN 在 alphamatting.com 基准测试中于梯度误差指标上表现最佳，该指标被设计为感知度量，排名第一，得分为 0.5。
• 在 Troll 与 Doll 图像上，AlphaGAN 在 SAD（绝对差和）与 MSE（均方误差）指标上达到最先进水平，SAD 分别为 19.2 与 18.7。
• 对于 Doll 图像，AlphaGAN 在所有方法中取得最低的 SAD（19.2）与 MSE（18.7），表明其在细粒度结构上的卓越性能。
• 该模型在 Troll 与 Doll 图像上表现尤为出色，成功捕捉到高频发丝结构，归因于对抗性损失带来的锐化增强。
• 在 Composition-1k 测试数据集上，AlphaGAN 达到最先进结果，表明其在多样化图像类别中具备强大的泛化能力。
• 尽管在 Net 图像上的排名较低，结果仍与顶尖方法视觉上接近，表明其在挑战性情况下的鲁棒性。