[论文解读] Wasserstein distance estimates for the distributions of numerical approximations to ergodic stochastic differential equations

J. M. Sanz‐Serna, Konstantinos C. Zygalakis|arXiv (Cornell University)|Apr 26, 2021

Markov Chains and Monte Carlo Methods被引用 5

一句话总结

本文提出了一套统一的非渐近分析框架，用于研究强对数凹目标下遍历SDE的数值方法，重点分析不变测度与其数值近似之间的2- Wasserstein距离。该框架为一种新型分裂积分器（UBU）建立了复杂度界 $Ó(\kappa^{5/4}d^{1/4}\epsilon^{-1/2})$，该积分器在每步仅需一次梯度计算即可实现分布上的 $\epsilon$-精度。

ABSTRACT

We present a framework that allows for the non-asymptotic study of the $2$-Wasserstein distance between the invariant distribution of an ergodic stochastic differential equation and the distribution of its numerical approximation in the strongly log-concave case. This allows us to study in a unified way a number of different integrators proposed in the literature for the overdamped and underdamped Langevin dynamics. In addition, we analyse a novel splitting method for the underdamped Langevin dynamics which only requires one gradient evaluation per time step. Under an additional smoothness assumption on a $d$--dimensional strongly log-concave distribution with condition number $\\kappa$, the algorithm is shown to produce with an $\\mathcal{O}\\big(\\kappa^{5/4} d^{1/4}\\epsilon^{-1/2} \\big)$ complexity samples from a distribution that, in Wasserstein distance, is at most $\\epsilon>0$ away from the target distribution.

研究动机与目标

• 开发一种适用于强对数凹情形下遍历SDE数值近似的一般性非渐近分析框架。
• 利用2-Wasserstein距离作为度量，统一研究现有过阻尼与欠阻尼Langevin动力学积分器的性能。
• 分析一种新型分裂积分器（UBU）在欠阻尼Langevin动力学中的应用，该积分器每时间步仅需一次梯度计算。
• 推导在维度 $d$、条件数 $\kappa$ 和目标精度 $\epsilon$ 下的复杂度界，以实现Wasserstein距离下 $\epsilon$-接近的分布。
• 证明收缩性与局部强误差控制是实现在高维与低误差水平下最优收敛速率的关键因素。

提出的方法

• 该框架通过积分器的收缩性与数值格式的局部强误差，界定了不变测度 $\pi^\star$ 与数值近似分布之间的2-Wasserstein距离。
• 分析利用Ito-Taylor展开与矩界，估计UBU积分器在位置与速度分量上的局部误差。
• 该方法采用分裂策略，将动力学分解为确定性与随机子步骤，从而实现每步仅一次梯度计算的高效实现。
• 通过 $P$-范数与 $L^2$-内积，将欧氏范数界转化为适用于Wasserstein距离分析的估计量。
• 该框架适用于过阻尼与欠阻尼Langevin SDE，且在强对数凹性与光滑性假设下推导出显式界。
• 通过分析单步内精确解与数值解的差异，并利用收缩性将误差传播至 $n$ 步，推导出理论界。

实验结果

研究问题

• RQ1 如何在非渐近意义下界定向量SDE的不变测度与其数值近似之间的2-Wasserstein距离？
• RQ2 积分器的收缩性与局部强误差对高维、强对数凹设置下数值采样器收敛速率的影响是什么？
• RQ3 能否使欠阻尼Langevin动力学的分裂积分器在每步仅一次梯度计算下实现最优复杂度？
• RQ4 与EE等现有方法相比，新型UBU积分器在误差与计算成本方面的表现如何？
• RQ5 采样复杂度对条件数 $\kappa$、维度 $d$ 与目标精度 $\epsilon$ 的依赖关系如何？

主要发现

• 所提出的框架为真实不变测度与数值近似之间的2-Wasserstein距离提供了通用的非渐近界，其依赖于收缩性与局部强误差。
• 对于UBU积分器，2-Wasserstein误差被界为 $\mathcal{O}(\kappa^{5/4}d^{1/4}\epsilon^{-1/2})$ 步，以实现分布上的 $\epsilon$-精度。
• UBU积分器仅需每步一次梯度计算即达到此复杂度，计算成本与EE方法相当，但收敛性能更优。
• 在缺乏高阶光滑性（假设2.3）的情况下，UBU积分器仍保持强阶1，主导误差项由 $c^{3/2}Ld^{1/2}$ 与 $cL^{1/2}d^{1/2}$ 主导，且随 $L$ 呈有利缩放。
• 分析表明，UBU的局部误差在主导项 $c^{3/2}Ld^{1/2}$ 中比EE方法小 $\sqrt{3}/3 \approx 0.577$ 倍，表明其收敛性更优。
• 该框架证实，具有更好收缩性与更小局部强误差的积分器在高维与低误差区域中性能更优。