[论文解读] A Pseudo-Metric between Probability Distributions based on Depth-Trimmed Regions

Guillaume Staerman, Pavlo Mozharovskyi+3 more|arXiv (Cornell University)|Mar 23, 2021

Advanced Statistical Methods and Models被引用 5

一句话总结

该论文通过利用数据深度定义基于深度截断区域的多变量分位数，提出了一种新颖的伪度量，用于在 $\mathbb{R}^d$ 中比较连续概率分布。该度量计算两个分布下基于深度的区域之间的平均Hausdorff距离，具备鲁棒性、仿射变换不变性以及线性时间近似能力，在文本摘要评估任务中优于现有的MMD、Wasserstein和BertScore等度量。

ABSTRACT

The design of a metric between probability distributions is a longstanding problem motivated by numerous applications in Machine Learning. Focusing on continuous probability distributions on the Euclidean space $\\mathbb{R}^d$, we introduce a novel pseudo-metric between probability distributions by leveraging the extension of univariate quantiles to multivariate spaces. Data depth is a nonparametric statistical tool that measures the centrality of any element $x\\in\\mathbb{R}^d$ with respect to (w.r.t.) a probability distribution or a data set. It is a natural median-oriented extension of the cumulative distribution function (cdf) to the multivariate case. Thus, its upper-level sets -- the depth-trimmed regions -- give rise to a definition of multivariate quantiles. The new pseudo-metric relies on the average of the Hausdorff distance between the depth-based quantile regions w.r.t. each distribution. Its good behavior w.r.t. major transformation groups, as well as its ability to factor out translations, are depicted. Robustness, an appealing feature of this pseudo-metric, is studied through the finite sample breakdown point. Moreover, we propose an efficient approximation method with linear time complexity w.r.t. the size of the data set and its dimension. The quality of this approximation as well as the performance of the proposed approach are illustrated in numerical experiments.

研究动机与目标

• 为解决在 $\mathbb{R}^d$ 中定义一种鲁棒且具有几何意义的度量以比较概率分布的挑战，尤其针对支持集不重叠的情况。
• 利用数据深度作为分位数的多变量扩展，通过深度截断区域构建用于分布比较的区域。
• 确保该度量在仿射变换下保持不变，并对污染具有鲁棒性，尤其在高维设置下。
• 开发一种高效的线性时间近似方法，以实现机器学习应用中的实际部署。
• 在自动自然语言生成评估中，特别是文本摘要任务中，评估该度量的性能。

提出的方法

• 该方法通过数据深度的上水平集（即深度截断区域）定义多变量分位数，按点相对于分布的中心性对点进行排序。
• 构建一个伪度量，作为从两个概率分布中提取的深度截断区域之间平均Hausdorff距离。
• 采用一系列深度函数（如单纯形深度、Oja深度、Zonoid深度）为每个分布定义深度截断区域。
• 通过在有限的分位数水平网格上采样深度值并计算距离，提出一种线性时间近似方法。
• 该度量设计为在仿射变换下保持不变，并能消除位置偏移的影响，从而增强鲁棒性。
• 通过有限样本崩溃点分析其理论性质，如鲁棒性。

实验结果

研究问题

• RQ1 能否利用数据深度定义一种有意义的多变量分位数扩展，以实现分布比较？
• RQ2 所提出的伪度量在仿射变换和位移下是否表现出理想的不变性特性？
• RQ3 该度量在数据污染下的鲁棒性如何，以有限样本崩溃点衡量？
• RQ4 能否构建一种高效且线性时间的近似方法，同时保持度量的理论性质？
• RQ5 在评估文本生成质量方面，该度量与现有度量（如MMD、Wasserstein、BertScore）相比表现如何？

主要发现

• 所提出的伪度量 $DR_{p,\varepsilon}$ 在WebNLG 2020基准测试中与人类判断的相关性最高，优于提取式摘要系统中的MoverScore和BertScore。
• 在摘要任务中，$DR_{p,\varepsilon}$ 对于提取式系统与人类判断的Spearman相关系数达到91.5，优于Wasserstein（74.2）和MMD（75.6）。
• 该度量表现出强鲁棒性，有限样本崩溃点证实其对数据污染具有抗性。
• 线性时间近似方法在显著降低计算成本的同时保持了高精度，使该方法可扩展至大规模数据集。
• 该度量在仿射变换下保持不变，并有效消除平移效应，增强了在实际应用中的稳定性。
• 实证结果表明，$DR_{p,\varepsilon}$ 在提取式和抽象式摘要评估中均优于Sliced-Wasserstein和MMD，尤其在Kendall’s $\tau$ 和Pearson’s $r$ 指标上表现更优。