[论文解读] Asymptotics of Entropy-Regularized Optimal Transport via Chaos Decomposition

Zaïd Harchaoui, Lang Liu+1 more|arXiv (Cornell University)|Nov 17, 2020

Statistical Mechanics and Entropy参考文献 40被引用 5

一句话总结

本文提出了一种改进的离散熵正则化方法，将最优传输耦合视为 N 个粒子的静态Schrödinger桥，证明其收敛到连续Schrödinger桥时具有显式的 N^{-1/2} 和 N^{-1} 误差项。本文建立了泛函中心极限定理和二阶高斯混沌极限，通过一种新颖的empirical measures混沌分解，将先前结果从有限状态空间和二次代价推广至一般连续密度和任意代价。

ABSTRACT

Consider the problem of estimating the optimal coupling (i.e., matching) between $N$ i.i.d. data points sampled from two densities $ ho_0$ and $ ho_1$ in $\mathbb{R}^d$. The cost of transport is an arbitrary continuous function that satisfies suitable growth and integrability assumptions. For both computational efficiency and smoothness, often a regularization term using entropy is added to this discrete problem. We introduce a modification of the commonly used discrete entropic regularization (Cuturi '13) such that the optimal coupling for the regularized problem can be thought of as the static Schrodinger bridge with $N$ particles. This paper is on the asymptotic properties of this discrete Schrodinger bridge as $N$ tends to infinity. We show that it converges to the continuum Schrodinger bridge and derive the first two error terms of orders $N^{-1/2}$ and $N^{-1}$, respectively. This gives us functional CLT, including for the cost of transport, and second order Gaussian chaos limits when the limiting Gaussian variance is zero, extending similar recent results derived for finite state spaces and the quadratic cost. The proofs are based on a novel chaos decomposition of the discrete Schrodinger bridge by polynomial functions of the pair of empirical distributions as a first and second order Taylor approximations in the space of measures. This is achieved by extending the Hoeffding decomposition from the classical theory of U-statistics. The kernels corresponding to the first and second order chaoses are given by Markov operators which have natural interpretations in the Sinkhorn algorithm.

研究动机与目标

• 分析当粒子数 N 趋于无穷时，熵正则化最优传输的渐近行为。
• 将泛函中心极限定理和二阶混沌极限的结果从有限状态空间推广至一般连续密度和任意代价。
• 建立一个严谨的数学框架，通过一种新颖的混沌分解，将离散熵正则最优传输与连续Schrödinger桥联系起来。
• 表征离散耦合向其连续极限收敛时的一阶和二阶误差项。

提出的方法

• 引入一种改进的离散熵正则化方法，将最优耦合解释为 N 个独立同分布粒子的静态Schrödinger桥。
• 利用经验测度的多项式函数作为一阶和二阶泰勒近似，对离散Schrödinger桥实施一种新颖的混沌分解。
• 将经典的U统计量Hoeffding分解推广至概率测度空间，得到对应于一阶和二阶混沌的核函数。
• 将混沌核识别为马尔可夫算子，具有在Sinkhorn算法中自然的解释，从而将分解与计算过程联系起来。
• 建立离散耦合收敛到连续Schrödinger桥的收敛性，其误差项显式为 N^{-1/2} 和 N^{-1} 阶。
• 推导泛函中心极限定理和二阶高斯混沌极限，包括极限高斯方差为零的情形。

实验结果

研究问题

• RQ1 当 N → ∞ 时，离散熵正则最优传输耦合如何收敛到连续Schrödinger桥？
• RQ2 该收敛过程中的一阶和二阶渐近误差项是什么？它们如何依赖于维度和代价函数？
• RQ3 能否在一般密度和连续代价下，为运输代价和耦合建立泛函中心极限定理？
• RQ4 混沌分解在表征离散耦合围绕其极限的波动中起什么作用？
• RQ5 混沌分解中出现的马尔可夫算子如何与Sinkhorn算法的步骤相关联？

主要发现

• 当 N → ∞ 时，离散Schrödinger桥以 N^{-1/2} 和 N^{-1} 阶误差项收敛到连续Schrödinger桥。
• 为最优耦合和运输代价建立了泛函中心极限定理，适用于 R^d 中的一般连续代价函数和密度。
• 推导出二阶高斯混沌极限，即使在极限高斯方差为零的情况下也成立，将先前结果从二次代价和有限状态空间推广至更一般情形。
• 一阶混沌分量来源于一个对应于Sinkhorn算法第一轮迭代的马尔可夫算子。
• 二阶混沌分量由一个马尔可夫算子控制，该算子捕捉了经验测度近似中的二阶波动。
• 混沌分解通过在概率测度空间中对U统计量的广义Hoeffding型分解构造而成，从而实现了渐近展开的推导。