[論文レビュー] How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models

Ahmed M. Alaa, Boris van Breugel+2 more|arXiv (Cornell University)|Feb 17, 2021

Scientific Computing and Data Management被引用数 34

ひとこと要約

alpha-Precision、beta-Recall、Authenticityを3Dのサンプルレベル指標として導入し、生成モデルの忠実度、多様性、一般化をドメインを跨いで評価する。加えてモデル監査のユースケース。

ABSTRACT

Devising domain- and model-agnostic evaluation metrics for generative models is an important and as yet unresolved problem. Most existing metrics, which were tailored solely to the image synthesis setup, exhibit a limited capacity for diagnosing the different modes of failure of generative models across broader application domains. In this paper, we introduce a 3-dimensional evaluation metric, ($\\alpha$-Precision, $\\beta$-Recall, Authenticity), that characterizes the fidelity, diversity and generalization performance of any generative model in a domain-agnostic fashion. Our metric unifies statistical divergence measures with precision-recall analysis, enabling sample- and distribution-level diagnoses of model fidelity and diversity. We introduce generalization as an additional, independent dimension (to the fidelity-diversity trade-off) that quantifies the extent to which a model copies training data -- a crucial performance indicator when modeling sensitive data with requirements on privacy. The three metric components correspond to (interpretable) probabilistic quantities, and are estimated via sample-level binary classification. The sample-level nature of our metric inspires a novel use case which we call model auditing, wherein we judge the quality of individual samples generated by a (black-box) model, discarding low-quality samples and hence improving the overall model performance in a post-hoc manner.

研究の動機と目的

• ドメイン横断・モデル非依存の生成モデル評価指標を提供する。
• 合成データの三つの品質、忠実度、多様性、一般化を定量化する。
• サンプルレベルの診断を可能にし、ポストホックな合成データ品質向上のための新しいモデル監査のユースケースを提供する。
• ドメイン横断で指標を推定する実用的な埋め込みと仮説検定フレームワークを提供する。

提案手法

• alpha-Precision を、合成サンプルが実データの alpha-サポートに含まれる確率として定義する。
• beta-Recall を、実データのサンプルが合成データの beta-サポートに含まれる確率として定義する。
• Authenticity を、合成サンプルが memorized training copy でない確率として、ノイズ成分を含む混合モデルで表現されるものとして定義する。
• 実データと合成データを、alpha-およびbeta-サブセットを推定するために、超球へ写像するモデル主導の評価埋め込みを用いて埋め込む。
• 埋め込み表現に基づいて、精度、再現、Authenticity のサンプルレベルのスコアを3つの分類器で推定する。
• 低品質なサンプルを廃棄して高品質な合成データを選別するポストホック監査ワークフローを提供する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン横断かつモデル非依存のサンプルレベル指標は、生成モデルの忠実度、多様性、一般化を同時に捉えられるか。
• RQ2 alpha-Precision、beta-Recall、Authenticity は、従来の分布レベル指標を超えた有意義で解釈可能な診断を提供するか。
• RQ3 これらの指標を用いたモデル監査は、合成データで訓練した場合の下流の予測性能を改善するか。
• RQ4 提案された指標は、実世界の機微データシナリオ（例: 臨床データのCOVID-19データ）やMNISTのような多モーダルなシンプルなベンチマークでどのように機能するか。

主な発見

• alpha-Precision と beta-Recall のカーブは、密度レベルにわたる忠実度と多様性を明らかにし、モード崩壊やモード発明などの問題に対処する。
• 統合指標 IP_alpha および IR_beta は、真のモデル品質と相関し、生成モデルのランキングにおいて標準の P1/R1 や他の分布ベース指標を上回る可能性がある。
• Authenticity は、新規サンプルと記憶された訓練データを区別することで一般化を捉え、プライバシー対応の評価を可能にする。
• サンプルレベルスコアを用いたモデル監査は、下流の予測性能を改善し、合成データを監査した後のCOVID-19死亡率予測でAUCの改善で示された。
• フレームワークは MNIST でモードドロップを検知し、IR_beta が低下する一方で IP_alpha は頑健であることを示し、特定の故障モードを診断できる能力を強調している。