[论文解读] Lower Complexity Adaptation for Empirical Entropic Optimal Transport

Michel Groppe, Shayan Hundrieser|arXiv (Cornell University)|Jun 23, 2023

Groundwater flow and contamination studiesEnvironmental Science被引用 3

一句话总结

该论文证明了经验熵最优传输（EOT）估计器实现了低复杂度自适应（LCA）原理，即估计误差仅依赖于两个底层数测度中更简单的那个。作者推导出非渐近界，显示其收敛速率为参数型 $ n^{-1/2} $，且对正则化参数 $ \varepsilon $ 的依赖为 $ \tilde{u}^{-d/2} $，其中 $ d $ 为更简单测度的维度，该结果通过经验模拟和基于经验过程理论及单一代数函数类对偶公式的理论分析得到验证。

ABSTRACT

Entropic optimal transport (EOT) presents an effective and computationally viable alternative to unregularized optimal transport (OT), offering diverse applications for large-scale data analysis. In this work, we derive novel statistical bounds for empirical plug-in estimators of the EOT cost and show that their statistical performance in the entropy regularization parameter $ε$ and the sample size $n$ only depends on the simpler of the two probability measures. For instance, under sufficiently smooth costs this yields the parametric rate $n^{-1/2}$ with factor $ε^{-d/2}$, where $d$ is the minimum dimension of the two population measures. This confirms that empirical EOT also adheres to the lower complexity adaptation principle, a hallmark feature only recently identified for unregularized OT. As a consequence of our theory, we show that the empirical entropic Gromov-Wasserstein distance and its unregularized version for measures on Euclidean spaces also obey this principle. Additionally, we comment on computational aspects and complement our findings with Monte Carlo simulations. Our techniques employ empirical process theory and rely on a dual formulation of EOT over a single function class. Crucial to our analysis is the observation that the entropic cost-transformation of a function class does not increase its uniform metric entropy by much.

研究动机与目标

• 在一般条件下，建立经验插补估计器对熵最优传输（EOT）代价的统计收敛速率。
• 研究经验EOT估计器是否遵循此前仅在无正则化OT中已知的低复杂度自适应（LCA）原理。
• 分析估计误差对样本量 $ n $ 和熵正则化参数 $ \varepsilon $ 的依赖关系，特别是在高维设置下。
• 将LCA原理扩展至欧氏空间中的经验熵Gromov-Wasserstein距离和Sinkhorn散度。
• 为实际中Sinkhorn算法所表现出的计算效率提供理论依据，将其与统计自适应性相联系。

提出的方法

• 利用经验过程理论，推导经验EOT代价的均绝对偏差的非渐近上界。
• 采用单一代数函数类上的EOT对偶公式，使能够分析函数类在熵代价变换下的行为。
• 提出一个关键技术洞见：熵代价变换后的函数类的均匀度量熵仅比原类略有增加。
• 应用基于度量熵的集中不等式，控制经验估计器与真实EOT代价之间的偏差。
• 同时考虑有界和部分无界的代价函数，后者限制在平方欧氏范数和次高斯测度上。
• 通过蒙特卡洛模拟在立方体、半离散和欧氏设置下验证理论结果，包括Sinkhorn散度。

实验结果

研究问题

• RQ1 经验EOT代价估计器是否满足低复杂度自适应（LCA）原理，即估计误差仅依赖于两个测度中更简单的那个？
• RQ2 估计误差对样本量 $ n $ 和正则化参数 $ \varepsilon $ 的精确依赖关系是什么，特别是在高维情形下？
• RQ3 LCA原理能否扩展至经验熵Gromov-Wasserstein距离和Sinkhorn散度？
• RQ4 熵代价变换后函数类的均匀度量熵如何变化，其在控制估计误差中的作用是什么？
• RQ5 EOT的参数型 $ n^{-1/2} $ 收敛速率是否为紧致的？$ \varepsilon $-依赖关系如何影响误差界中的常数？

主要发现

• 经验EOT代价估计器实现了参数型收敛速率 $ n^{-1/2} $，误差依赖于 $ \varepsilon^{-d/2} $，其中 $ d $ 为更简单测度的维度，从而证实了LCA原理。
• 对于有界代价，估计误差通过熵代价变换后函数类的度量熵界得到控制，该变换仅使其度量熵轻微增加。
• LCA原理可扩展至欧氏空间中的经验熵Gromov-Wasserstein距离和Sinkhorn散度，理论与模拟结果均支持此结论。
• 在立方体和半离散设置下的模拟验证了 $ n^{-1/2} $ 收敛速率，并表明更高维或更多点可降低估计误差，提示在某些结构下存在优势。
• Sinkhorn算法以 $ \mathcal{O}(n^{2.5}) $ 次操作计算经验EOT代价，且估计器能自动适应更简单测度的内在复杂度，而无需事先知晓。
• 对于固定的 $ \varepsilon > 0 $，$ n^{-1/2} $ 速率在 $ n $ 上是紧致的，尽管常数中 $ \varepsilon $ 的精确依赖关系仍为开放问题，即使在有界情形下已确立 $ \varepsilon^{-d/2} $ 的缩放关系。