[论文解读] Fast and Robust Comparison of Probability Measures in Heterogeneous Spaces

Ryoma Sato, Marco Cuturi+2 more|arXiv (Cornell University)|Feb 5, 2020

Gaussian Processes and Bayesian Inference参考文献 48被引用 10

一句话总结

本文提出锚能量（Anchor Energy, AE）与锚Wasserstein（Anchor Wasserstein, AW）距离，通过将每个点表示为其成对距离的一维分布（即锚特征），实现对异质空间中概率测度的快速、鲁棒比较。该方法引入扫描线算法，以 O(n² log n) 时间精确计算 AE，时间复杂度相对于输入规模近乎线性，显著优于 Gromov-Wasserstein（GW）近似方法，展现出更优的速度与稳定性；同时引入基于秩的变体，进一步增强对噪声的鲁棒性。

ABSTRACT

Comparing two probability measures supported on heterogeneous spaces is an increasingly important problem in machine learning. Such problems arise when comparing for instance two populations of biological cells, each described with its own set of features, or when looking at families of word embeddings trained across different corpora/languages. For such settings, the Gromov Wasserstein (GW) distance is often presented as the gold standard. GW is intuitive, as it quantifies whether one measure can be isomorphically mapped to the other. However, its exact computation is intractable, and most algorithms that claim to approximate it remain expensive. Building on \cite{memoli-2011}, who proposed to represent each point in each distribution as the 1D distribution of its distances to all other points, we introduce in this paper the Anchor Energy (AE) and Anchor Wasserstein (AW) distances, which are respectively the energy and Wasserstein distances instantiated on such representations. Our main contribution is to propose a sweep line algorithm to compute AE \emph{exactly} in log-quadratic time, where a naive implementation would be cubic. This is quasi-linear w.r.t. the description of the problem itself. Our second contribution is the proposal of robust variants of AE and AW that uses rank statistics rather than the original distances. We show that AE and AW perform well in various experimental settings at a fraction of the computational cost of popular GW approximations. Code is available at \url{https://github.com/joisino/anchor-energy}.

研究动机与目标

• 解决在不同、异质度量空间上支持的概率测度比较问题——此类问题在生物、语言和图数据中普遍存在。
• 克服 Gromov-Wasserstein（GW）距离的计算不可行性，尽管其理论合理，但计算成本高昂。
• 开发 GW 的高效替代方法，在降低计算成本的同时保持可解释性与鲁棒性。
• 实现对图、词嵌入和单细胞组学数据等复杂数据类型的可扩展、稳定比较。
• 引入基于秩的变体，以提升对真实世界数据中噪声与异常值的鲁棒性。

提出的方法

• 将度量空间中的每个点（MMS）表示为其到其他所有点距离的一维经验分布——称为“锚特征”。
• 利用 P(R) 中的 1- Wasserstein 距离作为负定核，计算锚特征之间的能量距离（AE）。
• 提出扫描线算法，以 O(n² log n) 时间精确计算 AE，将原始 O(n³) 复杂度显著降低。
• 引入锚Wasserstein（AW）作为锚特征之间熵正则化Wasserstein距离，以提升可微性与稳定性。
• 开发 AEP（锚能量Procrustean）分配方法，利用平均运输计划实现图中节点匹配的鲁棒性方法。
• 应用秩统计量替代锚特征中的原始距离，增强对噪声与异常值的鲁棒性。

实验结果

研究问题

• RQ1 我们能否在不承受 Gromov-Wasserstein 计算负担的前提下，实现对异质空间中概率测度的快速且稳定的比较？
• RQ2 我们能否基于锚特征设计一种距离度量，实现精确、高效的计算，同时保留有意义的几何结构？
• RQ3 所提出的扫描线算法在锚特征上能量距离计算的时间复杂度方面有何改进？
• RQ4 AE 与 AW 的基于秩的变体在多大程度上提升了对真实世界数据中噪声的鲁棒性？
• RQ5 在图匹配与生成模型评估等任务中，AE 与 AW 是否能优于或匹配基于 GW 的方法？

主要发现

• 所提出的扫描线算法以 O(n² log n) 时间计算锚能量（AE）距离，实现相对于输入规模（n² 代价矩阵）的准线性复杂度。
• AE 与 AW 距离显著快于当前最先进的 GW 近似方法，计算成本仅为现有方法的极小部分。
• AE 与 AW 的基于秩的变体在噪声环境下表现出更强鲁棒性，在合成 BA 图的节点分配任务中优于 GW 与 AW。
• 在图匹配任务中，AEP（锚能量Procrustean）在匹配节点顺序的相关性上优于 GW、AW 与基于中心性的方法，表明其具有更好的角色保持能力。
• 在图生成模型评估中，所提方法正确识别 GraphRNN 与真实数据在统计上无显著差异（p > 0.05），同时拒绝 ER 与 BA 基线模型。
• 该方法可在 O(sn log(sn)) 时间内实现精确能量距离计算，适用于 s 个样本，使大规模模型评估成为可能且高效。