[論文レビュー] Assessing Generative Models via Precision and Recall

Mehdi S. M. Sajjadi, Olivier Bachem+3 more|arXiv (Cornell University)|May 31, 2018

Generative Adversarial Networks and Image Synthesis被引用数 173

ひとこと要約

分布レベルの適合率と再現率フレームワーク（PRD）を導入し、生成モデルを評価する。サンプル品質を分布のカバレージから分離し、サンプルからの効率的な計算手法を提供する。

ABSTRACT

Recent advances in generative modeling have led to an increased interest in the study of statistical divergences as means of model comparison. Commonly used evaluation methods, such as the Frechet Inception Distance (FID), correlate well with the perceived quality of samples and are sensitive to mode dropping. However, these metrics are unable to distinguish between different failure cases since they only yield one-dimensional scores. We propose a novel definition of precision and recall for distributions which disentangles the divergence into two separate dimensions. The proposed notion is intuitive, retains desirable properties, and naturally leads to an efficient algorithm that can be used to evaluate generative models. We relate this notion to total variation as well as to recent evaluation metrics such as Inception Score and FID. To demonstrate the practical utility of the proposed approach we perform an empirical study on several variants of Generative Adversarial Networks and Variational Autoencoders. In an extensive set of experiments we show that the proposed metric is able to disentangle the quality of generated samples from the coverage of the target distribution.

研究の動機と目的

• 評価指標がターゲット分布のカバレージからサンプル品質を区別する必要性を動機づける。
• 発散を分解する分布の理論的に妥当な適合率と再現率の概念を定義する。
• サンプルからPRD曲線を計算する効率的なアルゴリズムを開発する。
• PRDを確立された指標と関連づけ、画像データとテキストデータで実用的な有用性を示す。
• PRDを用いてGANsとVAEsに関する経験的洞察を提供し、モードドロップとモードインベントを診断する。

提案手法

• PとQを有限空間上の分布として定義し、共通成分と非共有成分に分解する。
• 共有成分μを用いて共通構造を捉え、formal precision-recall set PRD(Q,P)を導出する共通成分を用いたトレードオフ型PRDフレームワークを導入する。
• 双対性と単調性を含むPRDの基礎的性質を証明し、全変動と接続する。
• α(λ)とβ(λ)の和とλの等間隔グリッドを用いてPRDを計算するアルゴリズムを提供する。
• 特徴空間（Inception Pool3）にサンプルを埋め込み、クラスタリングして1次元の比較に簡略化することで深層生成モデルにPRDを適用する。
• MNIST、Fashion-MNIST、CIFAR-10、CelebA、およびテキストデータでPRDの計算と解釈を実演する。

実験結果

リサーチクエスチョン

• RQ1 分布に対して適合率と再現率をどのように定義すれば、生成モデルの異なる失敗モードを明らかにできるか？
• RQ2 提案されたPRDフレームワークは全変動、IS、FIDなどの既存指標とどのように関連するか？
• RQ3 PRDはGANsとVAEsにおけるモードドロップとモードインベントを分離できるか？
• RQ4 サンプルから計算するのは実用的か、画像データとテキストデータに適用したとき意味があるか？
• RQ5 PRDはサンプル品質と多様性に関して、GANsとVAEsについてどんな経験的洞察をもたらすか？

主な発見

• PRDはサンプル品質（精度）と分布カバレージ（再現）の二次元の視点を提供する。
• PRDフレームワークは全変動を一般化し、FIDとInception Scoreに接続する。
• PRD曲線はGANsとVAEsのモードドロップとモードインベントを明らかにし、なぜFID/ISが結論づけられないことがあるかを明確にする。
• 経験的結果は、VAEsは再現性が高いが精度が低い傾向があり、GANsは一般に高い精度を示すが再現性が低い傾向がある。
• 手法は事前学習済み分類器を介して埋め込み、特徴空間でクラスタリングすることで画像とテキストデータの両方で機能する。
• PRDはprecision vs recallをトレードオフすることで表現の家族を提供し、モデル比較に役立つ。