[论文解读] Empirical Optimal Transport between Different Measures Adapts to Lower Complexity

Shayan Hundrieser, Thomas Staudt+1 more|arXiv (Cornell University)|Feb 21, 2022

Markov Chains and Monte Carlo Methods被引用 10

一句话总结

该论文证明了经验最优传输（OT）代价的收敛速率由两个概率测度中复杂度较低者决定，这一现象被称为低复杂度自适应（LCA）。对于利普希茨连续代价，当其中一个测度位于 $ d $-维流形上时，收敛速率至少为 $ n^{-1/d} $，对于半凹代价则提升至 $ n^{-2/d} $，在半离散OT中为 $ n^{-1/2} $，且与另一测度的复杂度无关。

ABSTRACT

The empirical optimal transport (OT) cost between two probability measures from random data is a fundamental quantity in transport based data analysis. In this work, we derive novel guarantees for its convergence rate when the involved measures are different, possibly supported on different spaces. Our central observation is that the statistical performance of the empirical OT cost is determined by the less complex measure, a phenomenon we refer to as lower complexity adaptation of empirical OT. For instance, under Lipschitz ground costs, we find that the empirical OT cost based on $n$ observations converges at least with rate $n^{-1/d}$ to the population quantity if one of the two measures is concentrated on a $d$-dimensional manifold, while the other can be arbitrary. For semi-concave ground costs, we show that the upper bound for the rate improves to $n^{-2/d}$. Similarly, our theory establishes the general convergence rate $n^{-1/2}$ for semi-discrete OT. All of these results are valid in the two-sample case as well, meaning that the convergence rate is still governed by the simpler of the two measures. On a conceptual level, our findings therefore suggest that the curse of dimensionality only affects the estimation of the OT cost when both measures exhibit a high intrinsic dimension. Our proofs are based on the dual formulation of OT as a maximization over a suitable function class $\mathcal{F}_c$ and the observation that the $c$-transform of $\mathcal{F}_c$ under bounded costs has the same uniform metric entropy as $\mathcal{F}_c$ itself.

研究动机与目标

• 建立当源测度与目标测度不同时（可能位于不同空间）经验最优传输（OT）代价的收敛速率。
• 研究测度的固有维度如何影响经验OT估计器的统计性能。
• 识别收敛速率由复杂度较低的测度决定而非环境维度的条件。
• 为半离散OT以及一般利普希茨和半凹代价函数提供收敛速率的理论保证。
• 证明当一个测度具有低固有维度时，即使另一个测度为高维，最优传输中的维度灾难亦可被缓解。

提出的方法

• 通过函数类 $ ilde{}_{c} $ 上的对偶形式OT最大化问题的理论分析，结合一致度量熵界。
• 证明 $ ilde{}_{c} $ 的 $ c $-变换具有与 $ ilde{}_{c} $ 相同的一致度量熵，从而实现基于熵的收敛控制。
• 通过度量熵论证推导不同代价结构（利普希茨、半凹、半离散OT）下的收敛速率。
• 应用杜德利熵积分与对称化技术，界定向经验OT代价与总体值之间的期望偏差。
• 利用收敛速率由固有维度较低的测度决定的事实，即使另一测度为任意或高维。
• 通过半离散与流形设置下的模拟验证理论结果，确认预测的渐近收敛速率。

实验结果

研究问题

• RQ1 经验OT代价的收敛速率如何依赖于源测度与目标测度的固有维度？
• RQ2 即使另一测度位于高维空间，经验OT代价是否仍能自适应于更简单测度的复杂度？
• RQ3 在利普希茨与半凹代价函数下，经验OT的收敛速率如何？其与支撑集维度有何关系？
• RQ4 半离散OT设置是否表现出与环境维度无关的收敛速率？若是，该速率为多少？
• RQ5 在特定情形（如加法代价函数）下，理论界在多大程度上可被收紧，或可能不具紧致性？

主要发现

• 对于利普希茨代价，当一个测度位于 $ d $-维流形上时，经验OT代价的收敛速率为 $ n^{-1/d} $，与另一测度的复杂度无关。
• 对于半凹代价，收敛速率提升至 $ n^{-2/d} $，仍由低维测度主导。
• 在半离散OT设置中，收敛速率为 $ n^{-1/2} $，与连续空间的维度及原子数量无关。
• 收敛速率由固有维度较低的测度决定，这一现象称为低复杂度自适应（LCA），可缓解维度灾难。
• 模拟结果验证了理论速率：在半离散设置中，$ l_2^2 $ 与 $ l_1 $ 代价下收敛速率渐近趋于 $ n^{-1/2} $。
• 理论界在多数情形下是紧致的，但对于加法代价等特殊情况可能次优，此时可达到参数速率 $ n^{-1/2} $，但主定理未在不加改进的情况下捕捉到该速率。