[論文レビュー] An Improved Evaluation Framework for Generative Adversarial Networks

Shaohui Liu, Yi Wei+2 more|arXiv (Cornell University)|Mar 20, 2018

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 41

ひとこと要約

本稿は、ドメイン特化型エンコーダと Class-Aware Frechet Distance (CAFD) を導入し、GAN の評価を改善する。CAFD とドメイン志向の特徴量が FID を上回り、FID の人間判断との不整合を明らかにする。

ABSTRACT

In this paper, we propose an improved quantitative evaluation framework for Generative Adversarial Networks (GANs) on generating domain-specific images, where we improve conventional evaluation methods on two levels: the feature representation and the evaluation metric. Unlike most existing evaluation frameworks which transfer the representation of ImageNet inception model to map images onto the feature space, our framework uses a specialized encoder to acquire fine-grained domain-specific representation. Moreover, for datasets with multiple classes, we propose Class-Aware Frechet Distance (CAFD), which employs a Gaussian mixture model on the feature space to better fit the multi-manifold feature distribution. Experiments and analysis on both the feature level and the image level were conducted to demonstrate improvements of our proposed framework over the recently proposed state-of-the-art FID method. To our best knowledge, we are the first to provide counter examples where FID gives inconsistent results with human judgments. It is shown in the experiments that our framework is able to overcome the shortness of FID and improves robustness. Code will be made available.

研究の動機と目的

• ドメイン特化型の画像生成のための GAN の定量評価をより良く動機づける。
• ImageNet ベースの表現は多くのデータセットに対して非有効であると主張し、ドメイン特化型エンコーダを提案する。
• Gaussian混合モデルを用いて多クラスの特徴分布をモデル化する CAFD を導入する。
• CAFD が人間の判断とより良く一致し、FID が見逃す問題を検出する証拠を提供する。

提案手法

• ターゲットデータセットから細粒度表現を取得するためにドメイン特化型エンコーダを使用する。
• 単一のガウス分布の代わりに Gaussian Mixture Model (GMM) で多クラスの特徴分布をモデル化する。
• 各クラスごとに Frechet 距離を計算し、クラス間で結果を平均して CAFD を定義する。
• 実データと生成データのモード分布間のKL発散を組み込み、モードドロップを検出する。
• CAF D が訓練データとテストデータのCAF Dスコアを比較することにより、クラス別の生成性能や過学習の可能性を明らかにできることを示す。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化型のエンコーダは、ImageNet ベースのエンコーダより GAN 評価の特徴表現の質を改善するか。
• RQ2 CAFD は FID よりも多重マニフォールドの特徴分布をうまく捉えられるか。
• RQ3 CAFD は人間の判断とより近く一致し、FID が見逃すモード関連の問題を検出できるか。

主な発見

• ドメイン特化型エンコーダは ImageNet ベースの特徴よりも効果的で細粒度の表現を生成する。
• CAFD は Gaussian mixture model を用いて多クラスの特徴分布により適合し、クラス認識的な距離測定を提供する。
• CAFD は FID が人間の判断と矛盾する不整合を明らかにし、特徴レベルの摂動に対する頑健性を示す。
• 実データと生成データのクラス分布間の KL 発散はモードドロップ検出に役立つ。
• MNIST/CIFAR/CelebA の実験は FID に対するフレームワークの優位性を示し、クラスごとの洞察を提供する。