[論文レビュー] Revisiting Precision and Recall Definition for Generative Model Evaluation

Loïc Simon, Ryan Webster+1 more|arXiv (Cornell University)|May 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 5

ひとこと要約

この論文は、離散的でない確率測度に一般化することで、生成モデル評価のための正確度（precision）と再現率（recall）を再定義し、尤度比検定における第一種・第二種の誤り率と精度再現率曲線の間にリンクを確立する。著者らは、制御された多モーダルデータセットにおいてモード崩壊や品質問題を検出する点で先行手法を改善する新しいアルゴリズムを提案する。

ABSTRACT

In this article we revisit the definition of Precision-Recall (PR) curves for generative models proposed by Sajjadi et al. (arXiv:1806.00035). Rather than providing a scalar for generative quality, PR curves distinguish mode-collapse (poor recall) and bad quality (poor precision). We first generalize their formulation to arbitrary measures, hence removing any restriction to finite support. We also expose a bridge between PR curves and type I and type II error rates of likelihood ratio classifiers on the task of discriminating between samples of the two distributions. Building upon this new perspective, we propose a novel algorithm to approximate precision-recall curves, that shares some interesting methodological properties with the hypothesis testing technique from Lopez-Paz et al (arXiv:1610.06545). We demonstrate the interest of the proposed formulation over the original approach on controlled multi-modal datasets.

研究の動機と目的

• FIDのようなスカラー指標では、サンプル品質の悪さ（低精度）とデータ分布の完全なカバレッジの失敗（低再現率）を区別できないという限界を是正すること。
• Sajjadiら（2018）が提案した正確度再現率フレームワークを、有限サポートを持つ離散的分布に限定せず、連続的かつ多モーダルな分布へ一般化すること。
• 尤度比分類器における第一種・第二種の誤り率と精度再現率曲線の間の理論的関係を確立すること。
• 実用的なアルゴリズムを開発し、実際のサンプルと生成されたサンプルを区別する訓練済みのバイナリ分類器を用いて精度再現率曲線を近似すること。
• 提案された定式化を制御された多モーダルデータセット上で実証的に検証し、先行手法と比較してモード崩壊や品質劣化の検出感度が向上することを示すこと。

提案手法

• 有限サポートを持つ分布に制限しないように正確度再現率の定義を任意の確率測度へ一般化することで、連続的かつ多モーダルなデータ分布への適用を可能にする。
• 尤度比分類器における第一種・第二種の誤り率と正確度再現率の対応関係を示すことにより、統計的仮説検定と正確度再現率の間の理論的橋渡しを確立する。
• 実際のサンプルと生成されたサンプルを区別する訓練済みのバイナリ分類器を用いて、精度再現率曲線を近似する新しいアルゴリズムを提案する。これはLopez-Paz & Oquab（2017）の仮説検定手法と精神的に類似している。
• 特徴量埋め込み（例：Inception特徴量）を用いて、高次元データを低次元空間にマップし、分類器による識別がより意味的かつ安定するようにする。
• 異なる意思決定閾値に対して真陽性率と偽陽性率を推定し、全範囲の精度再現率曲線を構築する。
• 第一種・第二種の誤り率との理論的関連性を活用することで、曲線が統計的に整合的な方法でサンプル品質（正確度）とカバレッジ（再現率）を反映することを保証する。

実験結果

リサーチクエスチョン

• RQ1 連続的かつ多モーダルな生成モデルに対して、離散的近似を越えて正確度と再現率を意味的に定義する方法は何か？
• RQ2 生成モデル評価の文脈において、精度再現率曲線と統計的仮説検定の誤り率（第一種・第二種）との理論的関係は何か？
• RQ3 スカラー指標（例：FID や Inceptionスコア）と比較して、分類器ベースのアプローチは精度再現率曲線をより効果的に近似できるか？
• RQ4 提案手法は、制御されたデータセットにおいて、従来の手法と比較してモード崩壊（低再現率）や低品質なサンプル生成（低正確度）をよりよく検出できるか？
• RQ5 特徴空間の埋め込みを用いることで、画像のような高次元データにおける精度再現率曲線の安定性と解釈可能性はどのように向上するか？

主な発見

• 提案された定式化により、離散的分布に限定されない正確度と再現率が可能となり、量子化なしに連続的かつ多モーダルなデータ分布の評価が可能になった。
• 尤度比検定における第一種・第二種の誤り率と正確度再現率の直接的な理論的リンクを確立し、指標に統計的根拠を与えた。
• 精度再現率曲線を近似するための提案アルゴリズムは、元のSajjadiらの手法と比較して、制御された多モーダルデータセットにおけるモード崩壊や品質劣化の検出感度が向上している。
• 特徴量埋め込み（例：Inception特徴量）の使用は、意味的かつ効果的な分類器性能を実現するために不可欠であることが示された。生の画像空間では、互いに特異的（mutually singular）であるため、自明な精度再現率曲線が得られる。
• 本手法は、すべてのモードをカバーできないモデル（低再現率）と、高品質だが限られたサンプルしか生成しないモデル（低正確度）を明確に区別でき、FIDのようなスカラー指標では不可能である。
• 実証的結果から、スカラー指標のみに依存する評価と比較して、新しい定式化は、特に微細な失敗モードを検出する点でより洗練され、情報量が多い評価を提供することが確認された。