[论文解读] Rates in the Central Limit Theorem and diffusion approximation via Stein's Method

Chattopadhyay, Eshan, De, Anindya+1 more|arXiv (Cornell University)|Jun 23, 2015

Point processes and geometric inequalities参考文献 29被引用 11

一句话总结

本文提出了一种斯坦方法的新应用，用于在 $p \geq 1$ 阶 Wasserstein 距离下，对概率测度 $\nu$ 与目标测度 $\mu$ 之间的距离进行有界估计，特别关注多变量正态分布和一般可逆扩散过程。通过利用一个随机过程 $(X_t)_{t \geq 0}$，其中 $X_t \sim \nu$，构造了在时间上变化的算子 $ (L_\nu)_t $，使得 $\nu$ 在其作用下保持不变，从而通过泰勒展开和矩估计实现收敛速率的界定。主要贡献在于在弱假设下，对 2-Wasserstein 距离到高斯测度提供了定量、非渐近的界，并将该方法扩展至一般扩散过程，同时在蒙特卡洛采样和随机几何图中具有应用价值。

ABSTRACT

We present a way to use Stein's method in order to bound the Wasserstein distance of order $2$ between two measures $ν$ and $μ$ supported on $\mathbb{R}^d$ such that $μ$ is the reversible measure of a diffusion process. In order to apply our result, we only require to have access to a stochastic process $(X_t)_{t \geq 0}$ such that $X_t$ is drawn from $ν$ for any $t > 0$. We then show that, whenever $μ$ is the Gaussian measure $γ$, one can use a slightly different approach to bound the Wasserstein distances of order $p \geq 1$ between $ν$ and $γ$ under an additional exchangeability assumption on the stochastic process $(X_t)_{t \geq 0}$. Using our results, we are able to obtain convergence rates for the multi-dimensional Central Limit Theorem in terms of Wasserstein distances of order $p \geq 2$. Our results can also provide bounds for steady-state diffusion approximation, allowing us to tackle two problems appearing in the field of data analysis by giving a quantitative convergence result for invariant measures of random walks on random geometric graphs and by providing quantitative guarantees for a Monte Carlo sampling algorithm.

研究动机与目标

• 开发一种通用框架，利用随机过程对测度 $\nu$ 与目标测度 $\mu$ 之间的 $p \geq 1$ 阶 Wasserstein 距离进行有界估计。
• 通过引入使 $\nu$ 在其作用下保持不变的时间依赖算子 $ (L_\nu)_t $，将斯坦方法从经典斯坦方程和斯坦核的框架中拓展出来。
• 在 $p \geq 2$ 的条件下，以 $W_p$ 距离形式提供多变量中心极限定理的非渐近、定量收敛速率。
• 将该方法应用于稳态扩散近似，特别是随机几何图上随机游走的不变测度以及蒙特卡洛采样算法。

提出的方法

• 引入一个随机过程 $ (X_t)_{t \geq 0} $，使得对所有 $ t > 0 $，有 $ X_t \sim \nu $，从而构造一族由 $ (L_\nu)_t \varphi(x) = \frac{1}{s} \mathbb{E}[\varphi(X_t) - \varphi(X_0) \mid X_0 = x] $ 定义的算子 $ (L_\nu)_t $。
• 利用 $\nu$ 在 $ (L_\nu)_t $ 作用下的不变性，将其与目标扩散过程的生成元 $ L_\mu $ 进行比较，借助泰勒展开建立两者之间的联系。
• 通过控制时间平均算子 $ (L_\nu)_t $ 与标准高斯扩散生成元 $ L_\gamma $ 之间的差异，建立 $ W_2(\nu, \gamma) $ 的有界估计。
• 对于交换过程的情形，定义修正算子 $ (L_\nu)_t \varphi(x) = \frac{1}{s} \mathbb{E}[(X_t - X_0)(\varphi(X_t) + \varphi(X_0)) \mid X_0 = x] $，从而实现对 $ p \geq 1 $ 阶 $ W_p $ 距离的有界估计。
• 通过使用矩估计和包含紧支集扰动 $ U $ 的耦合论证，控制泰勒展开中的误差，特别是通过有界 $ \mathbb{E}[\|X_t - X_0\|^{2+\xi}] $ 和 $ \mathbb{E}[\|b(X_0)\|_{a^{-1}}^2] $ 来实现。
• 将该方法应用于两个具体场景：(1) 随机几何图上随机游走的不变测度收敛于扩散极限；(2) 基于已知不变测度的随机过程的蒙特卡洛采样算法的收敛性保证。

实验结果

研究问题

• RQ1 能否利用一个满足 $ X_t \sim \nu $ 的随机过程 $ (X_t)_{t \geq 0} $，推导出 $ \nu $ 与目标测度 $ \mu $ 之间 $ W_p $ 距离的非渐近界？
• RQ2 斯坦方法如何被调整以避免求解斯坦方程或计算斯坦核，尤其是在高维情形下？
• RQ3 在对底层过程假设最少的前提下，多变量中心极限定理的 $ W_p $ 距离收敛速率（$ p \geq 2 $）如何量化？
• RQ4 该框架能否为数据分析中的稳态扩散近似（如随机几何图上的随机游走）提供定量保证？
• RQ5 交换性在加强 $ W_p $ 距离有界估计中起到什么作用？它如何实现 $ (L_\nu)_t $ 与 $ L_\mu $ 之间更直接的比较？

主要发现

• 本文建立了 $ \nu $ 与标准高斯测度 $ \gamma $ 之间 2-Wasserstein 距离的有界估计，表明当 $ \epsilon_1, \epsilon_2, \epsilon_3 \to 0 $ 且 $ n \to \infty $ 时，有 $ (1 - e^{-c\kappa T}) W_2(\tilde{\nu}_{n,\epsilon_1,\epsilon_2}, \mu) \leq \int_0^T \mathbb{E}[S(t)^2]^{1/2} dt + o(1) $。
• 对于交换过程的情形，该方法可对 $ p \geq 1 $ 的 $ W_p $ 距离提供有界估计，关键估计涉及时间平均算子与生成元 $ L_\mu $ 之间差值的 $ L^2 $-范数。
• 多变量中心极限定理的收敛速率以 $ W_p $ 距离（$ p \geq 2 $）形式被量化，其界依赖于增量 $ X_t - X_0 $ 的矩以及漂移和扩散系数的正则性。
• 在对图和过程的假设较弱的条件下，该框架为随机几何图上随机游走的不变测度收敛于扩散极限提供了定量保证。
• 对于基于已知不变测度的随机过程的蒙特卡洛采样算法，该方法提供了经验测度与目标不变测度之间距离的非渐近界，其表达式明确依赖于混合时间与矩条件。
• 分析表明，在指数遍历性条件下，$ \mu $ 的 $ W_2 $ 距离可通过过程生成元与目标扩散生成元之间差异的 $ L^2 $-范数来控制。