[論文レビュー] Inverting The Generator Of A Generative Adversarial Network (II)

Antonia Creswell, Anil A. Bharath|arXiv (Cornell University)|Feb 15, 2018

Generative Adversarial Networks and Image Synthesis参考文献 16被引用数 24

ひとこと要約

この論文は、任意の事前学習済み GAN の生成器を、潜在空間の勾配降下法による再構成誤差の最小化によって逆方向に解く、最適化に基づく新規手法を提案する。これにより、追加のエンコーダーを学習せず、定性的・定量的両面での GAN 表現の分析が可能になる。主な貢献は、計算グラフが入手可能な任意の事前学習済み GAN に適用可能で、過学習に強く、MNIST、CIFAR-10、Omniglot データセットで検証されたスケーラブルな逆方向推定技術であり、再構成忠実度とモデル比較能力の向上を実現した。

ABSTRACT

Generative adversarial networks (GANs) learn a deep generative model that is able to synthesise novel, high-dimensional data samples. New data samples are synthesised by passing latent samples, drawn from a chosen prior distribution, through the generative model. Once trained, the latent space exhibits interesting properties, that may be useful for down stream tasks such as classification or retrieval. Unfortunately, GANs do not offer an "inverse model", a mapping from data space back to latent space, making it difficult to infer a latent representation for a given data sample. In this paper, we introduce a technique, inversion, to project data samples, specifically images, to the latent space using a pre-trained GAN. Using our proposed inversion technique, we are able to identify which attributes of a dataset a trained GAN is able to model and quantify GAN performance, based on a reconstruction loss. We demonstrate how our proposed inversion technique may be used to quantitatively compare performance of various GAN models trained on three image datasets. We provide code for all of our experiments, https://github.com/ToniCreswell/InvertingGAN.

研究の動機と目的

• 訓練済み GAN におけるデータ空間から潜在空間への逆マッピングの欠如が解釈可能性や下流応用を制限するという問題に対処すること。
• 再訓練や追加のエンコーダー・ネットワークを必要としない、事前学習済み GAN 生成器の逆方向推定を可能にする手法の開発。
• 再構成誤差を用いて、過学習や属性モデリングの診断的ツールを提供すること。
• 異なる GAN アーキテクチャーや学習手法の定性的・定量的比較を可能にすること。

提案手法

• 本手法は、再構成誤差を最小化する最適化問題として逆方向推定を定式化する：ターゲット画像 $ x $ と生成器出力 $ G(z^*) $ の間の再構成誤差を最小化する潜在コード $ z^* $ を求める。損失関数にはバイナリクロスエントロピー損失を用いる。
• 勾配降下法を潜在コード $ z $ に対して直接適用し、事前学習済み生成器の計算グラフを用い、$ G $ を通じて勾配を逆伝播して $ z $ を更新する。
• 複数の画像を並列処理することでバッチ推論を拡張し、効率性を向上させる。
• エンコーダー・ネットワークの学習を回避するため、過学習に強く、計算グラフが入手可能な任意の事前学習済み GAN に適用可能である。
• 反復的最適化ループ（アルゴリズム 1）により逆方向推定を実装する。初期値としてランダムな $ z $ を設定し、再構成誤差を最小化するための勾配ステップで逐次更新を行う。
• 再構成誤差は、元の画像と生成器出力との間の平均二乗誤差（MSE）で測定され、定量的モデル比較に用いられる。

実験結果

リサーチクエスチョン

• RQ1 追加のエンコーダーを学習せずに、実画像に対して意味のある潜在コードを回復できるか？
• RQ2 逆方向推定プロセスの再構成誤差は、GAN の品質と一般化能力をどのように反映するか？
• RQ3 逆方向推定により、GAN が学習した属性の範囲をどの程度特定できるか？
• RQ4 逆方向推定を用いて、異なる GAN アーキテクチャーや学習手法を定量的に比較可能か？
• RQ5 解像度や学習の変更（例：WGAN とノイズ付き GAN）に応じて、逆方向推定の性能はどのように変化するか？

主な発見

• 提案手法により、生成器の計算グラフのみを用いても、高忠実度の画像再構成が達成された。これは、実画像の潜在コードが生成器の計算グラフのみで回復可能であることを示している。
• 高解像度画像で学習した GAN では、再構成誤差がほぼ半減した。これは、微細なディテールをよりよく捉えていることを示している。
• Omniglot データセットにおいて、WGAN はノイズ付き標準 GAN よりも低い平均二乗誤差（MSE）を示し、過学習が少ないことが確認された。
• 本手法により、低解像度で学習した GAN では、筆跡のストロークなどの微細なディテールが再構成できないことが判明した。ただし、全体の形状は保持されていた。
• 逆方向推定により、特定の属性（例：車の色）をモデル化できない GAN が特定され、モデルの限界に関する定性的な知見が得られた。
• 本手法により、再構成誤差に基づく客観的・定量的 GAN モデル比較が可能となり、WGAN などの改善された学習手法に関する先行研究の主張を裏付けるものとなった。