[論文レビュー] Likelihood Estimation for Generative Adversarial Networks

Hamid Eghbal-zadeh, Gerhard Widmer|arXiv (Cornell University)|Jul 24, 2017

Generative Adversarial Networks and Image Synthesis参考文献 9被引用数 10

ひとこと要約

本稿では、訓練を変更せずに任意の GAN における生成画像の評価を目的とした汎用的尤度推定手法 LeGAN を提案する。本手法は、本物画像のドメインネーター埋め込みを正規分布としてモデル化し、生成画像の尤度スコアを計算する。CIFAR-10 における実験では、vanilla GAN および LSGAN の両設定において、これらのスコアと人的な画像品質の間で強い相関が確認された。

ABSTRACT

We present a simple method for assessing the quality of generated images in Generative Adversarial Networks (GANs). The method can be applied in any kind of GAN without interfering with the learning procedure or affecting the learning objective. The central idea is to define a likelihood function that correlates with the quality of the generated images. In particular, we derive a Gaussian likelihood function from the distribution of the embeddings (hidden activations) of the real images in the discriminator, and based on this, define two simple measures of how likely it is that the embeddings of generated images are from the distribution of the embeddings of the real images. This yields a simple measure of fitness for generated images, for all varieties of GANs. Empirical results on CIFAR-10 demonstrate a strong correlation between the proposed measures and the perceived quality of the generated images.

研究の動機と目的

• GAN における生成画像の品質を評価する汎用的で侵襲的でない指標の欠如に対処すること。
• いかなる GAN のバリエーションの訓練目的やアーキテクチャに対しても干渉しない手法を開発すること。
• 事前学習モデルや大規模なサンプルセットを必要とせず、人間が感じる画像品質と相関する尤度ベースの測定値を確立すること。
• ドメインネーター埋め込みから導出される尤度スコアが、訓練中の生成画像品質の向上を効果的に追跡できることを示すこと。

提案手法

• 本物画像のドメインネーターの最終層の1つ前（最終のシグモイドを除く）から特徴埋め込みを抽出し、$\hat{D}(x)$ と表記する。
• 本物画像の埋め込みに正規分布をフィットさせ、平均 $\mu_r$ と分散 $\sigma^2_r$ を推定する。
• 学習された本物画像埋め込み分布に基づき、正規分布尤度関数 $\ell_{\mathcal{G}}(a)$ を定義する。
• 2つの尤度ベースの測定値を計算する：$\ell_{\text{diff}} = \ell_{\mathcal{G}}(a_r) - \ell_{\mathcal{G}}(a_f)$ および $\ell_{\text{ratio}} = \ell_{\mathcal{G}}(a_r) / \ell_{\mathcal{G}}(a_f)$、ここで $a_r$ と $a_f$ は本物および偽物画像の埋め込みを表す。
• 埋め込み空間の幾何的安定性を確保するため、ドメインネーターに 1-Lipschitz 継続性を重みクリッピングと L2 重み正則化を用いて強制する。
• GAN の再訓練や構造の変更なしに、訓練後処理として尤度測定を適用し、生成画像を評価する。

実験結果

リサーチクエスチョン

• RQ1 ドメインネーター埋め込みから導出される尤度ベースの指標は、GAN における生成画像の品質を信頼性高く評価できるか？
• RQ2 提案された LeGAN メソッドは、異なる GAN アーキテクチャにおいて人間の画像品質認識と相関するか？
• RQ3 尤度測定は、訓練目的や事前学習モデルの必要がない状態で、いかなる GAN に対しても普遍的に適用可能か？
• RQ4 訓練中に生成画像埋め込みの尤度はどのように変化するか？画像品質の向上を追跡できるか？
• RQ5 尤度測定は、訓練の進行を捉えるために既存の指標（例：ワッサーシュタイン距離）と同等の性能を示すか？

主な発見

• LeGAN による尤度測定 $\ell_{\text{diff}}$ および $\ell_{\text{ratio}}$ は、CIFAR-10 における訓練中、人的な画像品質と強い相関を示した。
• 訓練が進むにつれ $\ell_{\text{diff}}$ は減少し、$\ell_{\text{ratio}}$ は増加する傾向を示し、生成画像の埋め込みが尤度空間において本物画像の埋め込みに近づいていることを示している。
• 本手法は、vanilla GAN および LSGAN の両方において、画像品質の向上と相関しており、アーキテクチャを問わず汎用性を示した。
• 重みクリッピングと L2 正則化は、1-Lipschitz 継続性を効果的に強制し、埋め込み空間の安定性を高め、信頼性の高い尤度推定を可能にした。
• WGAN におけるワッサーシュタイン距離と同様のトレンドを示しており、既存の GAN 評価パラダイムと相性が良いことが示された。
• LeGAN は事前学習を必要とせず、大規模なサンプルセットも不要で、アーキテクチャの変更も不要であるため、軽量で即時利用可能な評価ツールである。