[論文レビュー] Improved Precision and Recall Metric for Assessing Generative Models

Tuomas Kynkäänniemi, Tero Karras+3 more|arXiv (Cornell University)|Apr 15, 2019

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 250

ひとこと要約

非パラメトリックなマニフォールド推定による生成サンプルの品質とカバレッジを別々に評価する改良版の精度-リコール指標を導入し、StyleGANとBigGANでFIDやSajjadiらの手法より優位性を示す。

ABSTRACT

The ability to automatically estimate the quality and coverage of the samples produced by a generative model is a vital requirement for driving algorithm research. We present an evaluation metric that can separately and reliably measure both of these aspects in image generation tasks by forming explicit, non-parametric representations of the manifolds of real and generated data. We demonstrate the effectiveness of our metric in StyleGAN and BigGAN by providing several illustrative examples where existing metrics yield uninformative or contradictory results. Furthermore, we analyze multiple design variants of StyleGAN to better understand the relationships between the model architecture, training methods, and the properties of the resulting sample distribution. In the process, we identify new variants that improve the state-of-the-art. We also perform the first principled analysis of truncation methods and identify an improved method. Finally, we extend our metric to estimate the perceptual quality of individual samples, and use this to study latent space interpolations.

研究の動機と目的

• 生成モデルにおけるサンプル品質と多様性の個別評価の必要性を動機づける。
• 特徴空間でのマニフォールド推定に基づく頑健な非パラメトリック精度-リコール指標を提案する。
• この指標がFIDや従来のPR手法と比較して、より明確で解釈可能なトレードオフを提供することを示す。
• StyleGANとBigGANにこの指標を適用し、設計上の選択とトランケーション手法を分析する。
• 個々のサンプルのリアリズムを評価し、潜在空間の内挿を研究するために指標を拡張する。

提案手法

• 実画像と生成画像を事前学習済みの特徴空間に埋め込む（例：VGG-16の活性化）
• サンプル周りにk近傍に基づく超球を構築して実マニフォールドと生成マニフォールドを推定する（k番目に近い近傍までの距離を用いる）。
• サンプルがマニフォールド内にあるかを判定する二値メンバーシップ関数を定義し、精度と再現率の計算を可能にする（式1–2）。
• 生成サンプルのうち実マニフォールド推定内に入る割合を精度として、実サンプルのうち生成マニフォールド推定内に入る割合を再現率として計算する。
• デフォルトとしてk=3と5万サンプル設定を使用し、VGG-16とInception-v3の特徴選択に対する頑健性を示す実験結果。
• このアプローチを拡張して個々のサンプルに連続的なリアリズムスコアを出し（式3）、安定性のために極端な超球を削減する。

実験結果

リサーチクエスチョン

• RQ1 明示的な非パラメトリックマニフォールド表現を用いて、生成モデルの精度と再現率を別々に推定できるか？
• RQ2 最先端モデル（StyleGAN、BigGAN）は、異なる訓練・トランケーション設定の下で精度と再現率をどのようにバランスさせるか？
• RQ3 モデル設計とトランケーション手法を評価する際、精度と再現率はFIDや従来のPR指標より有用な診断情報を提供するか？
• RQ4 個々のサンプルのリアリズムスコアと内挿解析は潜在空間の特性を明らかにし、改善を導くことができるか？
• RQ5 Precision-Recallのトレードオフのパレート前線分析から、StyleGANのアーキテクチャや訓練設定についてどのような実用的な洞察が得られるか？

主な発見

• 提案された指標は品質とカバレッジを分離し、FIDや従来のPR指標が覆い隠していたトレードオフを明らかにする。
• StyleGANとBigGANでは、指標がトランケーションやアーキテクチャの変種を通じた知覚的画像品質と変化と一致する。
• Sajjadi らの方法はしばしば精度と再現率の両方を過大評価し、トランケーション下での予想される変化を捉えられないことが多いが、新指標は直感的な品質-変動のトレードオフを反映する。
• StyleGANの設定のパレート前線分析は、ミニバッチ標準偏差、正則化、ランダム翻訳などのアーキテクチャ的選択が、FIDとは異なる形で精度-再現のバランスを shift させることを示す。
• 手法は特徴空間（VGG-16, Inception-v3）を横断して頑健であり、FIDの挙動に似た大規模サンプル数にもスケールする。
• 個々のサンプルのリアリズムスコアは連続的な画像リアリズムの指標を提供し、潜在空間の内挿とW空間におけるパスの凸性の評価を支援する。