[论文解读] A Practical Guide to Sample-based Statistical Distances for Evaluating Generative Models in Science

Sebastian Bischoff, Alana Darcher+19 more|arXiv (Cornell University)|Mar 19, 2024

Data Analysis with R被引用 4

一句话总结

本文为评估科学领域生成模型提供了四种广泛使用的统计距离——切片-Wasserstein、C2ST、MMD 和 FID——的实用且易懂的指南。通过实证分析表明，不同距离在相同数据上可能得出截然不同的结论，因此倡导采用多距离评估以确保科学领域中模型评估的稳健性。

ABSTRACT

Generative models are invaluable in many fields of science because of their ability to capture high-dimensional and complicated distributions, such as photo-realistic images, protein structures, and connectomes. How do we evaluate the samples these models generate? This work aims to provide an accessible entry point to understanding popular sample-based statistical distances, requiring only foundational knowledge in mathematics and statistics. We focus on four commonly used notions of statistical distances representing different methodologies: Using low-dimensional projections (Sliced-Wasserstein; SW), obtaining a distance using classifiers (Classifier Two-Sample Tests; C2ST), using embeddings through kernels (Maximum Mean Discrepancy; MMD), or neural networks (Fréchet Inception Distance; FID). We highlight the intuition behind each distance and explain their merits, scalability, complexity, and pitfalls. To demonstrate how these distances are used in practice, we evaluate generative models from different scientific domains, namely a model of decision-making and a model generating medical images. We showcase that distinct distances can give different results on similar data. Through this guide, we aim to help researchers to use, interpret, and evaluate statistical distances for generative models in science.

研究动机与目标

• 为科学领域的研究人员提供一种易于理解、直观掌握关键统计距离的途径，用于评估生成模型。
• 解决在生成模型产生复杂、高维数据（如图像、时间序列或神经活动）时，选择合适评估指标的挑战。
• 展示不同统计距离可能对同一生成模型得出矛盾的评估结果，强调多指标评估的重要性。
• 指导研究人员根据数据类型、研究领域和评估目标，选择、实现并解释相应的统计距离。
• 通过使用真实科学数据集展示每种方法的优势、局限性及实际考量，推动模型评估的最佳实践。

提出的方法

• 作者评估了四种统计距离：切片-Wasserstein（SW）、分类器两样本检验（C2ST）、最大均值差异（MMD）和 Fréchet Inception 距离（FID），每种方法代表一种不同的方法论路径。
• SW 通过高维数据的低维投影来估计 Wasserstein 距离，实现高效计算并具备对高维性的鲁棒性。
• C2ST 利用训练好的分类器区分真实样本与生成样本，检验统计量反映两组分布之间的分离程度。
• MMD 在再生核希尔伯特空间中计算真实数据与生成数据嵌入之间的距离，依赖基于核的方法进行分布比较。
• FID 使用预训练的深度神经网络（如 Inception）从图像中提取特征，然后计算真实与生成特征分布均值和协方差之间的 Fréchet 距离。
• 本研究将这些度量应用于两个科学领域的生成模型：一个用于决策过程建模，另一个用于医学图像生成，以实现跨方法的比较。

Figure 1: The need for statistical distances in scientific generative modeling. (a) An example target distribution, $p_{true}(x)$ , and two learned distributions ( $p_{1}(x)$ and $p_{2}(x)$ ) of different models trained to capture $p_{true}(x)$ . All three distributions share the same mean and margi

实验结果

研究问题

• RQ1 在不同科学数据类型中，SW、C2ST、MMD 和 FID 等统计距离在评估生成模型时表现如何？
• RQ2 这些距离在评估同一生成模型时的一致性程度如何？在哪些情况下会出现分歧？
• RQ3 在真实科学应用中，这些评估方法在可扩展性、复杂性和可解释性方面的关键权衡是什么？
• RQ4 领域特定特征（如时间序列中的时间结构或图像中的感知质量）如何影响每种距离的适用性？
• RQ5 是否可以仅依赖单一距离可靠地评估生成模型的质量？还是必须采用多指标评估才能得出稳健结论？

主要发现

• 即使在相似数据上应用，不同统计距离也可能对同一生成模型得出矛盾的评估结果，表明单一指标无法捕捉分布相似性的所有方面。
• FID 虽然被广泛使用，但对类别不平衡敏感，且可能无法完全反映感知质量，因为它依赖于可能存在偏差或非通用性的特征提取器。
• C2ST 和 MMD 在一般分布比较中表现良好，但需精心设计分类器或核函数，以确保结果的可靠性和可复现性。
• 切片-Wasserstein 在计算效率与对高维数据的鲁棒性之间实现了良好平衡，适用于复杂的科学分布。
• FID 中特征提取器的选择显著影响结果，且缺乏适用于非图像数据（如时间序列）的标准化、领域无关的网络，限制了不同研究间的可比性。
• 本研究证明，结合多种距离可实现比依赖任一单一指标更全面、更可靠的生成模型性能评估。

Figure 2: Schematic for the Sliced-Wasserstein distance. (a) Samples from two two-dimensional distributions along with example slices. The “slicing” is done by sampling random directions from the unit sphere and projecting the samples from the higher-dimensional distribution onto that direction. (b)