[論文レビュー] GP-GAN: Towards Realistic High-Resolution Image Blending

Huikai Wu, Shuai Zheng+2 more|arXiv (Cornell University)|Mar 21, 2017

Advanced Image Processing Techniques参考文献 44被引用数 89

ひとこと要約

GP-GANは、低解像度の色実在感のためのブレンディングGANとGaussian-Poisson最適化を組み合わせ、ハイレゾでアーティファクトのない画像ブレンドを生成します。Transient Attributesデータセットで最新の現実感を達成し、ユーザー調査によって支持されています。

ABSTRACT

It is common but challenging to address high-resolution image blending in the automatic photo editing application. In this paper, we would like to focus on solving the problem of high-resolution image blending, where the composite images are provided. We propose a framework called Gaussian-Poisson Generative Adversarial Network (GP-GAN) to leverage the strengths of the classical gradient-based approach and Generative Adversarial Networks. To the best of our knowledge, it's the first work that explores the capability of GANs in high-resolution image blending task. Concretely, we propose Gaussian-Poisson Equation to formulate the high-resolution image blending problem, which is a joint optimization constrained by the gradient and color information. Inspired by the prior works, we obtain gradient information via applying gradient filters. To generate the color information, we propose a Blending GAN to learn the mapping between the composite images and the well-blended ones. Compared to the alternative methods, our approach can deliver high-resolution, realistic images with fewer bleedings and unpleasant artifacts. Experiments confirm that our approach achieves the state-of-the-art performance on Transient Attributes dataset. A user study on Amazon Mechanical Turk finds that the majority of workers are in favor of the proposed method.

研究の動機と目的

• 複数の要素を合成した画像に対して、現実的な高解像度のブレンディングを動機づける。
• GANを活用して低解像度のカラー実在感の制約を学習する。
• 勾配ベースの高周波ディテールとカラー制約をGaussian-Poissonフレームワークで結合する。
• 難易度の高いデータセットとユーザー研究を通じて最先端の性能を示す。

提案手法

• 合成入力から低解像度で現実的なブレンド画像を生成するBlending GANを導入する。
• L2と敵対的損失を組み合わせた監視付き損失でBlending GANを訓練する。
• 低解像度制約からのカラー情報と高解像度合成からの勾配情報を統合するGaussian-Poisson方程式を定式化し、ラプラシアンピラミッド上で閉形式解を得る。
• 各スケールで反復的に解くことにより、マルチスケール（Laplacian pyramid）手順を適用して高解像度のブレンド画像を生成する。
• Gaussion-Poisson最適化をピラミッドアップサンプリングと統合して最終的な高解像度ブレンドを生成する実用的なアルゴリズム（Algorithm 1）を提供する。

実験結果

リサーチクエスチョン

• RQ1 GANは、勾配ベースの手がかりと組み合わせた場合に現実的な高解像度ブレンドを生み出す、もっともらしい低解像度のカラー ブレンディングを学習できるか？
• RQ2 Gaussian-Poissonの定式化は、学習済みの低解像度制約とカラーの一貫性を保ちながら高品質な高周波ディテールを提供するか？
• RQ3 GP-GANは現実感とアーティファクトの観点で、古典的なPoissonベースのブレンディングや他の画像ステッチング手法とどう比較されるか？
• RQ4 訓練分布を超えたマスクや実世界の高解像度画像に対してアプローチは頑健か？

主な発見

手法	現実感スコア
PB (Pérez et al. 2003)	-0.696
MPB (Tanaka et al. 2012)	-0.192
MSB (Szeliski et al. 2011a)	-0.151
GP-GAN (ours)	-0.069

• GP-GANはTransient Attributesデータセットの500画像に対して、Poissonベースおよびマルチスプラインのベースラインより現実感スコアで優れている。
• Amazon Mechanical Turkでのユーザー調査は、現実感についてGP-GANが大多数の被験者に好まれることを示した。
• Blending GANのカラー制約を単純なダウンサンプリング済み合成で置換すると品質が低下し、学習された低解像度実在感制約の重要性を強調している。
• 定性的結果は、GP-GANがMPBおよびMSBと比較してブレンド時のブリードや照明不整合が少ない高解像度ブレンドを生成することを示している。
• 本手法は実世界の高解像度画像にも一般化し、良好な結果のために厳密なオブジェクトマスクを必要としない。