[論文レビュー] Image Processing Using Multi-Code GAN Prior

Jinjin Gu, Yujun Shen+1 more|arXiv (Cornell University)|Dec 15, 2019

Generative Adversarial Networks and Image Synthesis参考文献 69被引用数 11

ひとこと要約

本稿では、複数の潜在コードと適応的チャネル統合を用いる新しいGAN逆問題手法mGANpriorを提案する。この手法により、顕著に向上した忠実度で実画像を再構築可能となる。潜在空間の過剰パラメータ化により、高品質な画像再構築が可能となり、単一コードベースラインを上回り、微調整なしに事前学習済みGANを用いて超解像、色分け、穴埋めなど多様な応用が可能になる。

ABSTRACT

Despite the success of Generative Adversarial Networks (GANs) in image synthesis, applying trained GAN models to real image processing remains challenging. Previous methods typically invert a target image back to the latent space either by back-propagation or by learning an additional encoder. However, the reconstructions from both of the methods are far from ideal. In this work, we propose a novel approach, called mGANprior, to incorporate the well-trained GANs as effective prior to a variety of image processing tasks. In particular, we employ multiple latent codes to generate multiple feature maps at some intermediate layer of the generator, then compose them with adaptive channel importance to recover the input image. Such an over-parameterization of the latent space significantly improves the image reconstruction quality, outperforming existing competitors. The resulting high-fidelity image reconstruction enables the trained GAN models as prior to many real-world applications, such as image colorization, super-resolution, image inpainting, and semantic manipulation. We further analyze the properties of the layer-wise representation learned by GAN models and shed light on what knowledge each layer is capable of representing.

研究の動機と目的

• 単一の潜在コードに依存する従来のGAN逆問題手法における低品質な再構築を是正すること。
• 事前学習済みGANを多様な現実世界の画像処理タスクに効果的な事前知識として活用できることを実現すること。
• 複数のコードを用いた潜在空間の過剰パラメータ化により、画像再構築の忠実度を向上させること。
• GAN生成器内の異なる層が、意味的知識と知覚的知識をどのようにエンコードしているかを分析すること。
• 本手法のドメイン内およびドメイン外の画像へも汎用性を示すことを実証すること。

提案手法

• 本手法は、生成器の中間層で複数の特徴マップを生成するために複数の潜在コードを用いる。
• これらの特徴マップは、学習可能なチャネル重みを用いて適応的に統合され、入力画像を再構築する。
• 再構築損失は、複数の潜在コードおよびチャネル重みのエンドツーエンド最適化により最小化される。
• 層ごとの表現能力を分析するために、生成器の異なる層に本手法を適用する。
• 事前学習済みPGGANモデルを用いて、超解像、色分け、穴埋めなどの画像修復タスクで評価する。
• アブレーションスタディにより、異なる層やGANアーキテクチャにおける性能を比較し、最適な特徴合成層を同定する。

実験結果

リサーチクエスチョン

• RQ1 GANにおける単一コード逆問題と比較して、複数の潜在コードが顕著に再構築品質を向上させることができるか？
• RQ2 生成器内の中間層の選択が、再構築忠実度および意味的コンテンツにどのように影響を与えるか？
• RQ3 GANの学習データとはドメインギャップを有する画像に対しても、mGANpriorは効果的に再構築できるか？
• RQ4 訓練済みGAN生成器の異なる層に、どのような知識（例：低レベルの詳細 vs. 高レベルの意味的特徴）がエンコードされているか？
• RQ5 mGANpriorは、ファインチューニングやアーキテクチャ変更なしに、下流の画像処理タスクをどの程度可能にするか？

主な発見

• mGANpriorは、センタークロップおよびランダムクロップの両方の画像修復タスクにおいて、既存のGAN逆問題手法およびDeep Image Prior (DIP) を上回る最先端の再構築性能を達成した。
• 穴埋めタスクにおいて、センタークロップとランダムクロップの両方でPSNRが21.19 dBおよび22.11 dBを記録し、4番目の層が最良の結果を出した。
• 色分けタスクでは、8番目の層が最高のAuCスコア90.02%を達成し、低レベルの色再構築において優れた性能を示した。
• 顔データ（CelebA-HQ）で学習されたGANに対して寝室の画像を逆問題化した場合、単一コード逆問題では正しいコンテンツが再構築できなかったが、mGANpriorは複数のコードを用いることで成功裏に寝室画像を生成した。
• 4番目の層は寝室の再構築に十分な表現を提供するが、他のドメイン（例：顔、教会）では8番目の層が必要であり、これは層依存の意味的抽象化を示している。
• 高層層での特徴統合により、より高い再構築品質が得られ、これらの層がより詳細なコンテンツ情報をエンコードしていることが示された。