[論文レビュー] An empirical study on evaluation metrics of generative adversarial networks

Qiantong Xu, Gao Huang+5 more|arXiv (Cornell University)|Jun 19, 2018

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 221

ひとこと要約

本論文は人気のGAN評価指標を実証的に分析し、カーネルMMDと学習済み特徴空間における1-NN二サンプル検定が、識別性、モード感度、効率性といった主要特性を最もよく満たすことを示している。さらに、GANモデル間の過学習検出などの実用的側面も評価している。

ABSTRACT

Evaluating generative adversarial networks (GANs) is inherently challenging. In this paper, we revisit several representative sample-based evaluation metrics for GANs, and address the problem of how to evaluate the evaluation metrics. We start with a few necessary conditions for metrics to produce meaningful scores, such as distinguishing real from generated samples, identifying mode dropping and mode collapsing, and detecting overfitting. With a series of carefully designed experiments, we comprehensively investigate existing sample-based metrics and identify their strengths and limitations in practical settings. Based on these results, we observe that kernel Maximum Mean Discrepancy (MMD) and the 1-Nearest-Neighbor (1-NN) two-sample test seem to satisfy most of the desirable properties, provided that the distances between samples are computed in a suitable feature space. Our experiments also unveil interesting properties about the behavior of several popular GAN models, such as whether they are memorizing training samples, and how far they are from learning the target distribution.

研究の動機と目的

• GAN評価指標にとって望ましい性質を明確にする（例：識別性、モードドロップ/崩壊への感度、過学習検出）。
• 代表的なサンプルベースの指標を多様なデータセットで体系的に比較し、長所と限界を特定する。
• 実践的なGAN開発とモデル選択に信頼できる指標を特定する。

提案手法

• 主要なサンプルベースのGAN指標をレビュー・分類する（Inception Score、Mode Score、Kernel MMD、Wasserstein、FID、1-NN二サンプル検定）。
• 事前訓練済みのResNet-34を用いて、学習済み特徴空間で指標を運用し、画像間の意味のある距離を得る。
• CelebAとLSUN-bedroomで制御実験を実施し、識別性、モード崩壊/ドロップ、変換耐性、サンプル効率、過学習を評価する。
• ホールドアウト検証セットを用いて、実データと偽データの混合、モード操作、過学習に対する指標の感度を評価する。

実験結果

リサーチクエスチョン

• RQ1 既存のGAN評価指標の合理的な挙動特性は何か。
• RQ2 実践的なGAN評価におけるこれら指標の長所と限界は何か。
• RQ3 どの指標が真のデータと生成データを最も信頼性高く区別し、モード崩壊や過学習などの問題を検出するのか。

主な発見

• カーネルMMDと畳み込み特徴空間における1-NN二サンプル検定は、識別性と効率性を含むほとんどの望ましい特性を満たす。
• Inception ScoreとMode ScoreはImageNetと非常に異なるデータセットでは誤解を招く可能性があり、過学習の検出に失敗する。
• Wasserstein距離は大きな標本を必要とし計算コストが高いため、実用的魅力が低下する。
• Fréchet Inception Distance (FID) は特徴空間のモーメントをモデル化することで堅牢かつ効率的に機能する。
• 特徴空間の選択が重要であり、畳み込み表現（ResNetベース）はピクセル空間より信頼できる指標挙動をもたらす。
• 1-NN精度は解釈可能なスコアを提供し、モード崩壊の認識を強調する。実データと偽データの近傍の違いは過学習傾向を明らかにする。