[論文レビュー] A Practical Guide to Sample-based Statistical Distances for Evaluating Generative Models in Science

Sebastian Bischoff, Alana Darcher+19 more|arXiv (Cornell University)|Mar 19, 2024

Data Analysis with R被引用数 4

ひとこと要約

本論文は、科学的分野における生成モデルの評価に広く用いられる4つの統計的距離—Sliced-Wasserstein、C2ST、MMD、FID—について、実用的でアクセスしやすいガイドを提供する。実証的分析を通じて、同じデータに対して異なる距離が異なる結論をもたらすことが示され、科学的分野におけるモデル評価の信頼性を高めるために複数距離による評価が不可欠であると提唱している。

ABSTRACT

Generative models are invaluable in many fields of science because of their ability to capture high-dimensional and complicated distributions, such as photo-realistic images, protein structures, and connectomes. How do we evaluate the samples these models generate? This work aims to provide an accessible entry point to understanding popular sample-based statistical distances, requiring only foundational knowledge in mathematics and statistics. We focus on four commonly used notions of statistical distances representing different methodologies: Using low-dimensional projections (Sliced-Wasserstein; SW), obtaining a distance using classifiers (Classifier Two-Sample Tests; C2ST), using embeddings through kernels (Maximum Mean Discrepancy; MMD), or neural networks (Fréchet Inception Distance; FID). We highlight the intuition behind each distance and explain their merits, scalability, complexity, and pitfalls. To demonstrate how these distances are used in practice, we evaluate generative models from different scientific domains, namely a model of decision-making and a model generating medical images. We showcase that distinct distances can give different results on similar data. Through this guide, we aim to help researchers to use, interpret, and evaluate statistical distances for generative models in science.

研究の動機と目的

• 科学分野の研究者に、生成モデルを評価するために用いられる主要な統計的距離について、アクセスしやすく直感的な理解を提供すること。
• 画像、時系列、神経活動など、複雑で高次元のデータを生成する生成モデルにおいて、適切な評価指標を選択する課題に対処すること。
• 同じ生成モデルに対して、異なる統計的距離が相反する評価をもたらす可能性があることを示し、多指標評価の重要性を強調すること。
• データタイプ、分野、評価目的に応じて、統計的距離の選定、実装、解釈をガイドすること。
• 実科学的データセットを用いた実例を通じて、各手法の長所・短所および実務的考慮事項を提示することで、モデル評価のベストプラクティスを促進すること。

提案手法

• 著者らは、Sliced-Wasserstein (SW)、Classifier Two-Sample Test (C2ST)、Maximum Mean Discrepancy (MMD)、Fréchet Inception Distance (FID) の4つの統計的距離を評価し、それぞれが異なるアプローチを採用している。
• SWは高次元データの低次元投影を用いて Wasserstein 距離を推定し、計算効率と高次元へのロバストネスを実現する。
• C2STは、実データと生成データを区別する分類器を事前に学習させ、その分離度が分布間の距離を反映する。
• MMDは、再生核ヒルバート空間における実データと生成データの埋め込み間の距離を計算し、カーネルに基づく分布比較に依存する。
• FIDは事前学習済みの深層ニューラルネットワーク（例：Inception）を用いて画像から特徴量を抽出し、実データと生成データの特徴量分布の平均と共分散の Fréchet 距離を計算する。
• 本研究では、意思決定プロセスのモデリングと医療画像生成の2つの科学的生成モデルにこれらの指標を適用し、複数手法間の比較を可能にした。

Figure 1: The need for statistical distances in scientific generative modeling. (a) An example target distribution, $p_{true}(x)$ , and two learned distributions ( $p_{1}(x)$ and $p_{2}(x)$ ) of different models trained to capture $p_{true}(x)$ . All three distributions share the same mean and margi

実験結果

リサーチクエスチョン

• RQ1 SW、C2ST、MMD、FID という異なる統計的距離は、多様な科学的データタイプにおいて、生成モデルの評価にどの程度有効に機能するか？
• RQ2 これらの距離は、同じ生成モデルの評価においてどの程度一致するのか。また、どのような状況で乖離を示すのか？
• RQ3 実世界の科学的応用において、スケーラビリティ、複雑さ、解釈可能性の面で、これらの評価手法にどのようなトレードオフがあるか？
• RQ4 時系列における時間的構造や画像における知覚的品質といった、分野固有の特徴は、各距離の適切さにどのように影響を与えるか？
• RQ5 単一の距離で生成モデルの品質を信頼性高く評価できるのか、それとも信頼性のある結論を得るためには多指標評価が不可欠なのか？

主な発見

• 同じ生成モデルに対して、異なる統計的距離が相反する評価をもたらすことがあり、これは1つの指標では分布類似性のすべての側面を捉えきれないことを示している。
• FIDは広く用いられているが、クラス不均衡に敏感であり、特徴抽出器にバイアスがかかるか普遍的でない場合、知覚的品質を完全に反映しない可能性がある。
• C2STとMMDは一般的な分布比較に有効であるが、信頼性と再現性を確保するためには分類器やカーネルの設計に注意を要する。
• Sliced-Wassersteinは、計算効率と高次元データへのロバストネスの両立が優れており、複雑な科学的分布に適している。
• FIDにおける特徴抽出器の選定が結果に大きな影響を与え、画像以外のデータ（例：時系列）には標準的でドメインに依存しないネットワークが存在しないため、研究間の比較性が制限される。
• 本研究では、複数の距離を組み合わせることで、単一の指標に依存するよりも包括的かつ信頼性の高い生成モデル性能評価が可能であることを示した。

Figure 2: Schematic for the Sliced-Wasserstein distance. (a) Samples from two two-dimensional distributions along with example slices. The “slicing” is done by sampling random directions from the unit sphere and projecting the samples from the higher-dimensional distribution onto that direction. (b)