[论文解读] Estimation of Wasserstein distances in the Spiked Transport Model

Jonathan Niles‐Weed, Philippe Rigollet|arXiv (Cornell University)|Sep 16, 2019

Markov Chains and Monte Carlo Methods被引用 9

一句话总结

本文提出了尖刺传输模型（spiked transport model），这是一种统计框架，其中两个概率分布仅在低维子空间上不同，从而实现Wasserstein距离的高效估计。该研究证明，在此模型下，Wasserstein距离可实现接近极小极大最优的估计速率，避免了维度灾难，同时提供了统计-计算间隙存在的证据，表明计算上高效的估计器无法利用这种低维结构。

ABSTRACT

We propose a new statistical model, the spiked transport model, which formalizes the assumption that two probability distributions differ only on a low-dimensional subspace. We study the minimax rate of estimation for the Wasserstein distance under this model and show that this low-dimensional structure can be exploited to avoid the curse of dimensionality. As a byproduct of our minimax analysis, we establish a lower bound showing that, in the absence of such structure, the plug-in estimator is nearly rate-optimal for estimating the Wasserstein distance in high dimension. We also give evidence for a statistical-computational gap and conjecture that any computationally efficient estimator is bound to suffer from the curse of dimensionality.

研究动机与目标

• 形式化概率分布中的低维结构，以实现Wasserstein距离的高效估计。
• 在尖刺传输模型下建立Wasserstein距离估计的极小极大最优速率。
• 证明在缺乏低维结构时，插补估计器（plug-in estimator）接近速率最优，从而确认维度灾难的存在。
• 研究在尖刺传输模型下估计Wasserstein距离时是否存在统计-计算间隙。

提出的方法

• 提出尖刺传输模型，其中两个分布仅在低维子空间上不同，形式化了最优传输中常见的假设。
• 引入Wasserstein投影追踪（Wasserstein Projection Pursuit, WPP），通过将高维数据投影到低维子空间来高效估计Wasserstein距离。
• 利用投影追踪方法利用低维结构，证明在尖刺传输模型下，WPP可实现接近最优的估计速率。
• 应用统计查询框架，为统计-计算间隙提供证据，表明任何计算上高效的估计器都无法达到最优但计算不可行的WPP的估计速率。
• 使用浓度不等式和传输-熵不等式，推导出在该模型下Wasserstein距离的次高斯尾部界。
• 利用最优耦合与奇异值分解，将子空间对齐性与尖刺传输模型中的估计误差关联起来。

实验结果

研究问题

• RQ1 在低维结构假设下，Wasserstein距离估计的维度灾难是否可以被克服？
• RQ2 在尖刺传输模型下，Wasserstein距离的极小极大估计速率是多少？
• RQ3 是否存在估计Wasserstein距离的统计-计算间隙，即高效估计器无法达到最优速率？
• RQ4 在高维设置下，插补估计器与更复杂方法相比表现如何？
• RQ5 基于投影的方法（如WPP）在多大程度上能利用低维结构以提升估计速率？

主要发现

• 在尖刺传输模型下，Wasserstein距离的估计速率可避免维度灾难，实现接近极小极大最优。
• 在缺乏低维结构时，插补估计器被证明接近速率最优，确认了$n^{-1/d}$速率本质上为极小极大最优。
• 所提出的Wasserstein投影追踪（WPP）估计器通过利用低维子空间结构，实现了接近最优的估计速率。
• 统计-计算间隙被强烈暗示：在尖刺传输模型下，任何计算上高效的估计器可能都无法达到最优速率。
• 真实子空间与估计子空间之间的对齐性，被估计误差在投影Wasserstein距离中的表现定量约束。
• 分析表明，在尖刺模型中，分布间的最优耦合将位移集中在低维子空间上，从而实现高效估计。