[論文レビュー] Pixel-wise Conditioned Generative Adversarial Networks for Image Synthesis and Completion

Cyprien Ruffino, Romain Hérault+2 more|arXiv (Cornell University)|Feb 4, 2020

Generative Adversarial Networks and Image Synthesis参考文献 44被引用数 9

ひとこと要約

本論文は、入力ピクセルを疎でランダムに散らばったものとして、L2再構成損失を生成対抗ネットワーク（GAN）の目的関数に追加することで、正確な再構成を強制するピクセル単位の条件付きGANを提案する。この手法は、標準のCGANと比較して優れた制約満足度を達成しながらも、高い画像品質と多様性を維持しており、FashionMNIST、CIFAR-10、CelebA、およびPacGAN正則化を用いた地質学的シミュレーションタスクで検証された。

ABSTRACT

Generative Adversarial Networks (GANs) have proven successful for unsupervised image generation. Several works have extended GANs to image inpainting by conditioning the generation with parts of the image to be reconstructed. Despite their success, these methods have limitations in settings where only a small subset of the image pixels is known beforehand. In this paper we investigate the effectiveness of conditioning GANs when very few pixel values are provided. We propose a modelling framework which results in adding an explicit cost term to the GAN objective function to enforce pixel-wise conditioning. We investigate the influence of this regularization term on the quality of the generated images and the fulfillment of the given pixel constraints. Using the recent PacGAN technique, we ensure that we keep diversity in the generated samples. Conducted experiments on FashionMNIST show that the regularization term effectively controls the trade-off between quality of the generated images and the conditioning. Experimental evaluation on the CIFAR-10 and CelebA datasets evidences that our method achieves accurate results both visually and quantitatively in term of Fr\\'echet Inception Distance, while still enforcing the pixel conditioning. We also evaluate our method on a texture image generation task using fully-convolutional networks. As a final contribution, we apply the method to a classical geological simulation application.

研究の動機と目的

• 事前に分かっているピクセル値が非常に少ない状況における画像生成に取り組むこと。これは、標準のGANやCGANが苦労する設定である。
• 再構成損失を通じてピクセル単位の条件付きを明示的にモデル化することで、画像生成における制約の満足度を向上させること。
• 強い条件付き処理であっても、モード崩壊を避けるために生成サンプルの多様性を維持すること。
• 実世界の地質学的シミュレーションタスクを含む多様なデータセット上でこの手法を評価すること。
• 提案された正則化が、画像品質と制約適合性のトレードオフを効果的に制御できることを示すこと。

提案手法

• 敵対的損失に加え、既知のピクセルにおけるL2再構成損失を組み合わせた修正されたGAN目的関数を導入し、正則化項として機能させる。
• ガウス分布を仮定したもとで、生成画像を前提とした既知ピクセルの対数尤度を最大化することで、条件付き分布をモデル化する。
• 生成サンプルの多様性を保つためにPacGAN技術を用いる。これは、潜在変数が同一の出力を生成する場合に特に重要である。
• 高解像度画像や複雑なテクスチャへのスケーリングを可能とするために、完全畳み込みネットワーク（例：UNetResPAC）を採用する。
• 標準画像データセット（CIFAR-10、CelebA）および空間パターン制約を伴う実世界の地質学的シミュレーションタスクの両方へフレームワークを適用する。
• ハイパーパramータ λ が敵対的損失と再構成損失のトレードオフを制御するように、確率的勾配降下法で連合目的関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 わずかに散らばったピクセル値しか条件としないGANが、高品質な画像生成を効果的に行えるか？
• RQ2 ピクセル単位の再構成損失を追加することで、画像忠実度と制約適合性のバランスにどのような影響を与えるか？
• RQ3 疎で局所的でないピクセル制約に条件付けられた場合、提案手法が生成サンプルの多様性を維持できるか？
• RQ4 空間パターンの一貫性を要する地質学的画像シミュレーションのような複雑な実世界応用に一般化可能か？
• RQ5 正則化ハイパーパrameter λ が、視覚的品質と制約正確性のトレードオフにどのように影響を与えるか？

主な発見

• FashionMNISTでは、正則化パrameter λ を用いることで、画像品質と制約満足度のトレードオフを効果的に制御できた。
• CIFAR-10では、提案手法がFréchet Inception Distance（FID）3.120およびMSE 0.010を達成し、CGANのMSE 0.081と比較して制約正確性が優れていたが、FIDにおいても競争力を持っていた。
• CelebAでは、MSEが0.0053（CGANの0.0209対比）かつFIDが2.09e-4（CGANの1.34e-4対比）を達成し、優れた制約適合性を示した。
• 地下地質学的データセットでは、MSEが0.0325、HOG距離が4.31e-4を達成し、制約適合性が強く保たれつつも視覚的品質が維持された。
• PacGANの使用により、潜在変数がわずかに変化してもモード崩壊が防がれ、多様なサンプル生成が保証された。
• 視覚的評価により、生成されたサンプルが与えられたピクセル制約を尊重しながらも、特に地質学的シミュレーション例において現実的なテクスチャと空間パターンを維持していることが確認された。