[論文レビュー] Classification Accuracy Score for Conditional Generative Models

Suman Ravuri, Oriol Vinyals|arXiv (Cornell University)|May 26, 2019

Generative Adversarial Networks and Image Synthesis参考文献 44被引用数 99

ひとこと要約

Classification Accuracy Score (CAS) は、条件付き生成モデルからの合成データで分類器を訓練し、実データで評価して下流タスク性能を測定する。これは IS/FID によって捉えきれない弱点を明らかにし、尤度ベースのモデルが CAS で GAN を上回ることがあることを示す。

ABSTRACT

Deep generative models (DGMs) of images are now sufficiently mature that they produce nearly photorealistic samples and obtain scores similar to the data distribution on heuristics such as Frechet Inception Distance (FID). These results, especially on large-scale datasets such as ImageNet, suggest that DGMs are learning the data distribution in a perceptually meaningful space and can be used in downstream tasks. To test this latter hypothesis, we use class-conditional generative models from a number of model classes---variational autoencoders, autoregressive models, and generative adversarial networks (GANs)---to infer the class labels of real data. We perform this inference by training an image classifier using only synthetic data and using the classifier to predict labels on real data. The performance on this task, which we call Classification Accuracy Score (CAS), reveals some surprising results not identified by traditional metrics and constitute our contributions. First, when using a state-of-the-art GAN (BigGAN-deep), Top-1 and Top-5 accuracy decrease by 27.9\% and 41.6\%, respectively, compared to the original data; and conditional generative models from other model classes, such as Vector-Quantized Variational Autoencoder-2 (VQ-VAE-2) and Hierarchical Autoregressive Models (HAMs), substantially outperform GANs on this benchmark. Second, CAS automatically surfaces particular classes for which generative models failed to capture the data distribution, and were previously unknown in the literature. Third, we find traditional GAN metrics such as Inception Score (IS) and FID neither predictive of CAS nor useful when evaluating non-GAN models. Furthermore, in order to facilitate better diagnoses of generative models, we open-source the proposed metric.

研究の動機と目的

• 生成モデルの評価を IS/FID のような知覚的指標だけでなく、下流タスクの性能で行うことを動機づける。
• 合成データが実データと比較してラベル付き分類をどれだけサポートするかを測る指標として、分類精度スコア（CAS）を定義・形式化する。
• 大規模データセット（ImageNet）と小規模データセット（CIFAR-10）で複数のモデルクラス（GAN、VQ-VAE-2、HAMs）を CAS で比較する。
• CAS がクラス特異的な欠陥を明らかにできること、従来の GAN 指標が CAS をうまく予測しないことを示す。
• CAS 指標をオープンソース化し、より広い普及と診断的利用を促進する。

提案手法

• 条件付き生成モデルから得られる合成データで画像分類器（ResNet ベース）を訓練する。
• 実データで分類器を評価して Top-1 および Top-5 の精度を取得し、CAS を定義する。
• モデルクラス間で CAS を Inception Score（IS）および Frechet Inception Distance（FID）と比較する。
• 各クラスごとに解析を行い、どのカテゴリが各モデルによってうまく捉えられていないかを特定する。
• 実データと合成データの混合で分類器を訓練することで augmentation 効果を調べる Naive Augmentation Score（NAS）を導入する。
• CAS の計算ワークフローを再現性と広範な利用のためにオープンソース化する。

実験結果

リサーチクエスチョン

• RQ1 CAS は IS/FID が見逃すような条件付き生成モデルの下流タスクの欠陥を明らかにできるか。
• RQ2 ImageNet および CIFAR-10 で高い CAS を達成するモデルクラスはどれか（GAN と VQ-VAE-2、HAM のような尤度ベースモデル）。
• RQ3 パーソナルごとにデータ分布を一貫して捉えられない特定のクラスは存在するか。
• RQ4 CAS はモデルファミリ全体で従来指標（IS、FID）とどのように関係するか。
• RQ5 実データにモデル生成サンプルを追加して（NAS）下流タスクの性能を改善できる条件は何か。

主な発見

• ImageNet で BigGAN-deep は CAS の劣化が著しく（Top-1 の低下 27.9%、Top-5 の低下 41.6%）実データと比較して顕著。
• 尤度ベースの条件付きモデル（VQ-VAE-2、HAM）は IS/FID が劣っていても CAS が高くなる。
• クラス別の CAS 分析により、BigGAN-deep や他のモデルがデータ分布を捉えきれていない特定のカテゴリ（例：風船、帆車、鉛筆削り、スパチュラ など）を特定できる。
• IS および FID は非 GAN モデルを含む CAS を信頼性高く予測しないことが多く、タスクに整合した評価指標の必要性を浮き彫りにする。
• Naive Augmentation Score（NAS）は、実データに合成サンプルを加えた場合に小さな分類向上（Top-5 で約 0.2% 程度まで）を生み得るが、結果は切断やモデルによって異なる。