[论文解读] GP-GAN: Towards Realistic High-Resolution Image Blending

Huikai Wu, Shuai Zheng+2 more|arXiv (Cornell University)|Mar 21, 2017

Advanced Image Processing Techniques参考文献 44被引用 89

一句话总结

GP-GAN 结合一个用于低分辨率颜色真实感的 Blending GAN 与一个高斯-泊松优化，以产生高分辨率、无伪影的图像混合。它在 Transient Attributes 数据集上实现了最先进的真实感，并且有用户研究的支持。

ABSTRACT

It is common but challenging to address high-resolution image blending in the automatic photo editing application. In this paper, we would like to focus on solving the problem of high-resolution image blending, where the composite images are provided. We propose a framework called Gaussian-Poisson Generative Adversarial Network (GP-GAN) to leverage the strengths of the classical gradient-based approach and Generative Adversarial Networks. To the best of our knowledge, it's the first work that explores the capability of GANs in high-resolution image blending task. Concretely, we propose Gaussian-Poisson Equation to formulate the high-resolution image blending problem, which is a joint optimization constrained by the gradient and color information. Inspired by the prior works, we obtain gradient information via applying gradient filters. To generate the color information, we propose a Blending GAN to learn the mapping between the composite images and the well-blended ones. Compared to the alternative methods, our approach can deliver high-resolution, realistic images with fewer bleedings and unpleasant artifacts. Experiments confirm that our approach achieves the state-of-the-art performance on Transient Attributes dataset. A user study on Amazon Mechanical Turk finds that the majority of workers are in favor of the proposed method.

研究动机与目标

• 促成复合图像的真实感高分辨率图像混合。
• 利用 GAN 学习低分辨率颜色真实感约束。
• 通过高斯-泊松框架将梯度信息与低分辨率颜色约束结合起来，融合高频细节。
• 在具有挑战性的数据集和用户研究中展示最先进的性能。

提出的方法

• 提出 Blending GAN，从混合输入中生成低分辨率的真实混合图像。
• 用结合 L2 和对抗损失的监督损失来训练 Blending GAN。
• 将高斯-泊松方程用于从低分辨率约束中融合颜色信息与来自高分辨率复合的梯度信息，在拉普拉斯金字塔上给出封闭形式求解。
• 应用多尺度（拉普拉斯金字塔）过程，通过在每个尺度上迭代求解来产生高分辨率的混合图像。
• 提供一个实用的算法（Algorithm 1），通过将高斯-泊松优化与金字塔上采样相结合来生成最终的高分辨率混合图像。

实验结果

研究问题

• RQ1 GANs 是否能够学习出一个可靠的低分辨率颜色混合，在与基于梯度的线索结合后，产生真实的高分辨率混合？
• RQ2 高斯-泊松公式是否在保持与学习得到的低分辨率约束相一致的同时，提供高质量的高频细节？
• RQ3 在真实感和伪影方面，GP-GAN 相较于经典泊松基混合和其他图像拼接方法的表现如何？
• RQ4 在掩模和超出训练分布的真实高分辨率图像场景下，该方法是否具有鲁棒性？

主要发现

• GP-GAN 在 Transient Attributes 数据集的 500 张图像上在真实感评分上优于泊松基和多样条基线。
• 在 Amazon Mechanical Turk 的用户研究中，大多数受试者更倾向于 GP-GAN 的真实感。
• 用一个简单下采样的复合图像替换 Blending GAN 的颜色约束会降低质量，这突显学习到的低分辨率真实感约束的重要性。
• 定性结果显示，与 MPB 和 MSB 相比，GP-GAN 产生的高分辨率混合在 bleedings 和照明不一致方面更少。
• 该方法能泛化到真实的高分辨率图像，并且不需要精确的目标掩模就能获得良好结果。