[論文レビュー] A Study on the Evaluation of Generative Models

Eyal Betzalel, Coby Penso+2 more|arXiv (Cornell University)|Jun 22, 2022

Anomaly Detection Techniques and Applications被引用数 21

ひとこと要約

この論文は高品質な合成データセット NotImageNet32 を構築し、暗黙の生成モデルの評価指標を比較。FID/ISの揺らぎとCLIPベースの特徴がInceptionベースの特徴を上回ることを示す。さらに、指標選択の実践的ガイダンスを提案。

ABSTRACT

Implicit generative models, which do not return likelihood values, such as generative adversarial networks and diffusion models, have become prevalent in recent years. While it is true that these models have shown remarkable results, evaluating their performance is challenging. This issue is of vital importance to push research forward and identify meaningful gains from random noise. Currently, heuristic metrics such as the Inception score (IS) and Frechet Inception Distance (FID) are the most common evaluation metrics, but what they measure is not entirely clear. Additionally, there are questions regarding how meaningful their score actually is. In this work, we study the evaluation metrics of generative models by generating a high-quality synthetic dataset on which we can estimate classical metrics for comparison. Our study shows that while FID and IS do correlate to several f-divergences, their ranking of close models can vary considerably making them problematic when used for fain-grained comparison. We further used this experimental setting to study which evaluation metric best correlates with our probabilistic metrics. Lastly, we look into the base features used for metrics such as FID.

研究の動機と目的

• 一般的な生成モデル評価指標が確率的な発散（KLと逆KL）をどれだけ反映しているかを評価する。
• 非 ImageNet データセットに対する Inception ベースの指標（FID/IS）の信頼性を評価する。
• 非 ImageNet データに対する FID 的評価のための特徴抽出器（Inception vs CLIP）を比較する。
• 堅牢で揺らぎの少ない評価実践の推奨事項を提供する。

提案手法

• ImageNet32 で訓練された Image-GPT からサンプリングして、100k枚の画像からなる合成ベンチマーク（NotImageNet32）を作成する。
• さまざまなサイズの尤度ベースモデル（PixelSnail と VD-VAE）を訓練し、各画像の尤度とKL/RKL 発散を計算する。
• 経験的指標（FID, IS, KID）と、それらの不偏/拡張バージョン（FID∞, IS∞, Clean FID）を計算する。
• 確率的発散と経験的指標との相関と順位の安定性（Kendall’s τ）を評価する。
• Inception と CLIP の特徴の正規性仮定を質的に比較し、FID 的評価への適合性を評価する。

実験結果

リサーチクエスチョン

• RQ1 KL(p_data || p_model) および逆KLがモデル間で FID や IS とどのように相関するか？
• RQ2 非 ImageNet データセット上で、FIDとISは近接するモデルの細かな階層付けに信頼できるか？
• RQ3 非 ImageNet データの評価において、CLIP ベースの特徴は Inception 特徴よりも堅牢な表現を提供するか？
• RQ4 生成モデル評価の揺らぎを抑え、信頼性を高める実践的な推奨事項は何か？
• RQ5 FID における Inception を CLIP に置換すると、確率的発散との整合性が向上するか？

主な発見

KL	RKL	FID	IS	IS ∞	KID	FID ∞	クリーンFID
1	0.8895	0.7027	0.5889	0.4681	0.7770	0.8095	0.7909
0.8895	1	0.6337	0.5244	0.4314	0.7105	0.7267	0.7198
0.7027	0.6337	1	0.7979	0.7189	0.8513	0.8002	0.8699
0.5889	0.5244	0.7979	1	0.8281	0.7329	0.6818	0.7236
0.4681	0.4314	0.7189	0.8281	1	0.6167	0.5749	0.6074
0.7770	0.7105	0.8513	0.7329	0.6167	1	0.8606	0.9675
0.8095	0.7267	0.8002	0.6818	0.5749	0.8606	1	0.8746
0.7909	0.7198	0.8699	0.7236	0.6074	0.9675	0.8746	1

• FIDとISはKL/RKLと相関する一方で揺らぎが大きく、細かな比較が信頼できない。
• ISおよびその拡張は、多くの状況で他の指標より性能が劣る。
• KLとRKLの順位は高い一致を示す（Kendall’s τ ~0.89）一方、FID/ISの順位は弱く、モデル間で変動する。
• CLIP に基づく特徴は、非 ImageNet データセットにおいて、質的および正規性テストの両方で Inception 特徴を上回る。
• FID∞ のような不偏/拡張指標は、標準のFID/ISと比べてKL/RKLとの相関を改善する。
• NotImageNet32 は生成モデル指標を評価するのに有用なテストベッドである。