[論文レビュー] Reliable Fidelity and Diversity Metrics for Generative Models

Muhammad Ferjad Naeem, Seong Joon Oh+3 more|arXiv (Cornell University)|Feb 23, 2020

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 54

ひとこと要約

本論文は density and coverage (D&C) 指標を導入し、生成モデルの fidelity と diversity を評価し、従来の precision/recall 指標の欠点に対処し、埋め込みの選択とハイパーパラメータの選択を分析する。

ABSTRACT

Devising indicative evaluation metrics for the image generation task remains an open problem. The most widely used metric for measuring the similarity between real and generated images has been the Fréchet Inception Distance (FID) score. Because it does not differentiate the fidelity and diversity aspects of the generated images, recent papers have introduced variants of precision and recall metrics to diagnose those properties separately. In this paper, we show that even the latest version of the precision and recall metrics are not reliable yet. For example, they fail to detect the match between two identical distributions, they are not robust against outliers, and the evaluation hyperparameters are selected arbitrarily. We propose density and coverage metrics that solve the above issues. We analytically and experimentally show that density and coverage provide more interpretable and reliable signals for practitioners than the existing metrics. Code: https://github.com/clovaai/generative-evaluation-prdc.

研究の動機と目的

• 生成モデルを評価するための precision and recall 指標の不安定性とハイパーパラメータの恣意性に対処する。
• density and coverage を、忠実度と多様性を別々に定量化する堅牢な代替案として提案する。
• D&C が以前の指標より有利であることを示す解析的結果と経験的証拠を提供する。
• 評価におけるデータセットのバイアスを減らすため、random embeddings を含む embedding の選択を研究する。
• ハイパーパラメータ選択と評価設定に関する実践的な指針を提供する。

提案手法

• density and coverage を、real samples の周囲の k-nearest neighbours に基づく近傍ベースの指標として定義し、偽サンプルの所属度（density）と実サンプルのカバレージ（coverage）を集約する。
• D&C を改善された precision and recall (P&R) と比較し、アウトライヤーやモードドロップへのロバスト性を分析する。
• 同一の real distribution と fake distribution の下で、E[density] = 1 および E[coverage] = 1 - ((N-1)...(N-k))/((M+N-1)...(M+N-k)) の解析表現を導出する。
• E[coverage] > 0.95 を目指す体系的なハイパーパラメータ選択を提案し、実用的なデフォルト値を提供する（例: N=M=10,000, k=5）。
• ImageNet-pretrained およびランダムに初期化された CNNs を含む embedding 戦略を調査し、データタイプ（画像、音声など）全体での評価への影響を評価する。
• toy distributions および実データセット（MNIST、FFHQ、CelebA、LSUN、SC09）を用いて fidelity-diversity の診断能力を示す。

実験結果

リサーチクエスチョン

• RQ1 density and coverage は real と fake の分布が同一であるときに信頼性をもって示せるだろうか？
• RQ2 density and coverage はアウトライヤーに対して堅牢で、prior P&R 指標よりモードドロップを検出できるか？
• RQ3 embedding の選択（事前学習済み vs ランダム）が、異なるドメインでの評価結果にどう影響するか？
• RQ4 安定で分布タイプに依存しない評価（例: E[coverage] が 1 に近づく）をもたらすハイパーパラメータ設定は何か、実践的にはどう選ぶべきか？

主な発見

• Density and coverage は、アウトライヤーや分布の一致の下で、precision and recall よりも安定して解釈しやすい信号を提供する。
• 解析的な結果は、E[density] = 1 および E[coverage] が N、M、k の増加とともに 1 に近づくことを示し、原理的なハイパーパラメータの選択を可能にする。
• D&C は toy および実世界の実験で、P&R と比較して D&C は分布の一致とモードドロップをよりよく検出する。
• ランダム embeddings はターゲットデータが ImageNet 統計と大きく乖離する場合、より意味のある評価をもたらす。
• ハイパーパラメータは、各データセットの近傍に焦点を当てることで計算をスケールさせつつ、高い coverage（例: > 0.95）を達成するよう体系的に選択できる。