[论文解读] Distributional Convergence of the Sliced Wasserstein Process

Jiaqi Xi, Jonathan Niles‐Weed|arXiv (Cornell University)|Jun 1, 2022

Geometric Analysis and Curvature Flows被引用 5

一句话总结

本文提出了切片 Wasserstein 过程（Sliced Wasserstein Process），这是一种随机过程，用于建模高维概率测度在所有一维投影上的经验 Wasserstein 距离。它建立了统一的分布极限定理，从而为各种切片 Wasserstein 距离提供统一的渐近分布框架——使所有变体（包括此前未分析的情况）均可构建有效的置信区间和自助推断。

ABSTRACT

Motivated by the statistical and computational challenges of computing Wasserstein distances in high-dimensional contexts, machine learning researchers have defined modified Wasserstein distances based on computing distances between one-dimensional projections of the measures. Different choices of how to aggregate these projected distances (averaging, random sampling, maximizing) give rise to different distances, requiring different statistical analyses. We define the \emph{Sliced Wasserstein Process}, a stochastic process defined by the empirical Wasserstein distance between projections of empirical probability measures to all one-dimensional subspaces, and prove a uniform distributional limit theorem for this process. As a result, we obtain a unified framework in which to prove distributional limit results for all Wasserstein distances based on one-dimensional projections. We illustrate these results on a number of examples where no distributional limits were previously known.

研究动机与目标

• 为解决广泛应用于机器学习但缺乏联合分布理论的各类切片 Wasserstein 距离，缺乏统一统计框架的问题。
• 克服高维 Wasserstein 距离面临的统计与计算挑战，后者受维数灾难影响且收敛缓慢。
• 构建一种称为切片 Wasserstein 过程的随机过程，以捕捉高维空间中所有方向上投影 Wasserstein 距离的经验行为。
• 为该过程证明统一的分布极限定理，从而实现对所有基于投影的 Wasserstein 距离的渐近推断。
• 将现有结果从标准切片 Wasserstein 距离扩展至 max-sliced、分布切片（distributional sliced）及其他变体，其中此前尚无分布极限结果。

提出的方法

• 将切片 Wasserstein 过程定义为所有一维子空间上经验测度投影之间的经验 Wasserstein 距离，以方向 $ u \in \mathbb{S}^{d-1} $ 为索引。
• 将该过程建模为 $ \ell^\infty(\mathbb{S}^{d-1}) $ 中的随机元素，表示映射 $ u \mapsto W_p^p(P_n^u, Q_n^u) $，其中 $ P_n^u, Q_n^u $ 为经验投影。
• 应用 [HKSM22] 中基于对偶性的技术，推导出在 $ \mathbb{R}^d $ 上具有紧支集且连通的测度下、$ p > 1 $ 时该过程的中心极限定理。
• 利用泛函 delta 方法与 Hadamard 可微性，将极限定理推广至该过程的泛函，如上确界、振幅与积分。
• 建立重标度过程收敛于以 $ \mathbb{S}^{d-1} $ 为索引的高斯过程的分布收敛性，其显式方差结构由底层测度决定。
• 通过模拟验证理论：有限样本分布趋近于理论高斯极限，且在不同样本量下自助方法具有一致性。

实验结果

研究问题

• RQ1 是否存在一个单一的随机过程框架，能够统一分析所有基于一维投影的 Wasserstein 距离（包括切片、max-sliced 和分布切片等变体）的渐近性质？
• RQ2 在高维空间中，所有方向上的经验投影 Wasserstein 距离的联合极限分布为何？
• RQ3 切片 Wasserstein 过程是否在 $ \mathbb{S}^{d-1} $ 上有界函数空间中弱收敛于一个紧致高斯过程，从而支持一般泛函的推断？
• RQ4 该理论是否能支持所有此类距离的有效置信区间与自助推断，即使在先前未知分布极限的情况下？
• RQ5 有限样本分布与自助近似在不同重抽样方案下与理论极限的吻合程度如何？

主要发现

• 切片 Wasserstein 过程弱收敛于以 $ \mathbb{S}^{d-1} $ 为索引的紧致高斯过程，为所有投影 Wasserstein 距离建立了统一的中心极限定理。
• 极限分布 $ \sqrt{n} \left( SW_p^p(P_n, Q_n) - SW_p^p(P, Q) \right) $ 为高斯分布，其方差由底层测度与投影方向决定。
• 对于 max-sliced Wasserstein 距离，渐近分布为高斯分布，方差为 $ \frac{5}{12} $（在测试示例中），与理论预测一致。
• 该过程的振幅泛函（定义为 $ \sup W_p^p - \inf W_p^p $）收敛于高斯分布，证实了极限在所有方向上的统一性。
• 使用全重抽样（$ l = n $）的自助方法比子抽样方法更贴近有限样本分布，支持了插补自助法的有效性。
• 模拟结果表明，随着样本量增加，该过程的经验分布趋近于理论高斯极限，验证了在多个示例中渐近理论的正确性。