[論文レビュー] Quantitatively Evaluating GANs With Divergences Proposed for Training

Daniel Jiwoong Im, He Ma+2 more|arXiv (Cornell University)|Mar 2, 2018

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 15

ひとこと要約

本稿では、GANの訓練に用いられる従来の発散尺度を、GANの性能を定量的に評価するためのツールとして提案する。これらの尺度が複数のデータセットにおいてGANのバリエーションを一貫して順位付けでき、人的な知覚スコアよりも高い整合性を示すことが実証され、また、ある基準で訓練されたモデルが他の基準でも高い順位を獲得する傾向があることから、尺度選択に対して頑健であることが明らかになった。

ABSTRACT

Generative adversarial networks (GANs) have been extremely effective in approximating complex distributions of high-dimensional, input data samples, and substantial progress has been made in understanding and improving GAN performance in terms of both theory and application. However, we currently lack quantitative methods for model assessment. Because of this, while many GAN variants are being proposed, we have relatively little understanding of their relative abilities. In this paper, we evaluate the performance of various types of GANs using divergence and distance functions typically used only for training. We observe consistency across the various proposed metrics and, interestingly, the test-time metrics do not favour networks that use the same training-time criterion. We also compare the proposed metrics to human perceptual scores.

研究の動機と目的

• GANの広範な使用と多数のバリエーションにもかかわらず、定量的評価手法の不足に取り組むこと。
• GANの訓練中に用いられる発散尺度が、テスト時における信頼性の高い汎用的評価指標として機能するかを調査すること。
• DCGAN、W-DCGAN、LS-DCGANといった異なるGANファミリーを、複数の発散に基づく指標を用いて比較し、その一貫性を評価すること。
• これらの指標が人的なサンプル品質の知覚的判断とどの程度整合するかを評価すること。
• ネットワークサイズ、ノイズ次元、生成器／判別器の更新比率といったハイパーパrameterがGAN性能に与える影響を分析すること。

提案手法

• GAN（GC）、最小二乗GAN（LS）、ウォッサーシュタインGAN（IW）、MMD GANの4つのf-発散および積分確率的尺度（IPM）形式を、実データと生成データの分布間の発散を推定することで、評価指標として採用する。
• 密度推定を必要とせず、実データおよび生成データからのサンプルを用いて、発散 $ J(\theta) = \min_\theta \max_\phi \mathbb{E}_{P(x)}[\mu(f(x))] - \mathbb{E}_{Q_\theta(x)}[\upsilon(f(x))] $ を推定する。
• 最適な $ f $ を最大化する発散を近似するために判別ネットワーク $ D_\phi $ を用い、適応的かつスケーラブルな評価を可能にする。
• DCGAN、LS-DCGAN、W-DCGANといった複数のGANアーキテクチャを、MNISTおよびCIFAR10データセット上で、さまざまなハイパーパrameterを用いて適用する。
• 得られた指標スコアを人的知覚的評価と比較し、異なる発散タイプ間での一貫性を評価する。
• アーキテクチャサイズ、ノイズ次元、生成器／判別器の更新比率、学習データサイズに関するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 GANの訓練に用いられた発散尺度が、テスト時における信頼性の高い定量的評価指標として機能できるか。
• RQ2 異なる発散に基づく指標が、データセットやアーキテクチャを問わず、GAN性能の順位付けを一貫して行えるか。
• RQ3 提案されたこれらの指標が、サンプル品質に関する人的知覚的判断とどの程度相関しているか。
• RQ4 ネットワークサイズ、ノイズ次元、生成器と判別器の更新比率といったハイパーパrameterの変化に伴い、GAN性能はどのように変化するか。
• RQ5 学習データサイズの増加が、DCGAN、W-DCGAN、LS-DCGANのすべてに同じ程度の性能向上をもたらすか。

主な発見

• 提案された発散に基づく指標は、GAN、LS、IW、MMDの異なるタイプ間で高い一貫性を示し、指標選択に対して頑健であることがわかった。
• W-DCGANでIW基準で訓練しても、LS-DCGANがW-DCGANを上回った。これは、テスト時の指標が同じ目的関数で訓練されたモデルを好むわけではないことを示している。
• LS-DCGANでは、学習データを10,000例から40,000例に増加させた際、LSスコアが 0.0444 ± 0.0033 向上したが、DCGANではわずか 0.0124 ± 0.00127 の上昇にとどまり、W-およびLS-DCGANのほうがデータ効率が高かった。
• CIFAR10では、すべてのモデルで生成器と判別器の1:1の更新比率が最良の結果をもたらしたが、MNISTではモデルごとに性能が異なり、普遍的な最適比率は存在しなかった。
• より大きなGANアーキテクチャはより良い結果をもたらしたが、生成器を判別器よりも大きくしすぎると性能が低下した。
• FIDやインセプションスコアといった従来の指標よりも、これらの指標が人的知覚的スコアと強く相関しており、より高い知覚的関連性を示している。