[論文レビュー] Wasserstein distance estimates for the distributions of numerical approximations to ergodic stochastic differential equations

J. M. Sanz‐Serna, Konstantinos C. Zygalakis|arXiv (Cornell University)|Apr 26, 2021

Markov Chains and Monte Carlo Methods被引用数 5

ひとこと要約

本稿は、強い対数凸性を持つターゲットに対するエルゴディックなSDEに適用される数値解法の非漸近的解析を統一的に扱うフレームワークを導入する。特に、不変測度とその数値近似との間の2 Wasserstein距離に注目する。本稿では、1ステップあたり1回の勾配評価で済む、新規のスプリット積分法（UBU）を提案し、その計算複雑度は $\mathcal{O}(\kappa^{5/4}d^{1/4}\epsilon^{-1/2})$ であることを確立した。この複雑度により、分布の精度が $\epsilon$ に達する。

ABSTRACT

We present a framework that allows for the non-asymptotic study of the $2$-Wasserstein distance between the invariant distribution of an ergodic stochastic differential equation and the distribution of its numerical approximation in the strongly log-concave case. This allows us to study in a unified way a number of different integrators proposed in the literature for the overdamped and underdamped Langevin dynamics. In addition, we analyse a novel splitting method for the underdamped Langevin dynamics which only requires one gradient evaluation per time step. Under an additional smoothness assumption on a $d$--dimensional strongly log-concave distribution with condition number $\\kappa$, the algorithm is shown to produce with an $\\mathcal{O}\\big(\\kappa^{5/4} d^{1/4}\\epsilon^{-1/2} \\big)$ complexity samples from a distribution that, in Wasserstein distance, is at most $\\epsilon>0$ away from the target distribution.

研究の動機と目的

• 強い対数凸性の下で、エルゴディックSDEの数値近似の非漸近的解析を統一的に扱うフレームワークの構築。
• 2 Wasserstein距離を測度として用いて、過減衰およびアンダーダンプドランジュヴィンダイナミクスの既存の積分法の研究を統合すること。
• アンダーダンプドランジュヴィンダイナミクスのための新規スプリット積分法（UBU）を分析すること。この積分法は1ステップあたり1回の勾配評価で済む。
• 分布のWasserstein距離において $\epsilon$-近似を達成するための、次元 $d$、条件数 $\kappa$、およびターゲット精度 $\epsilon$ の観点から複雑度境界を導出すること。
• 高次元および低誤差領域において、最適収束速度を達成するための鍵となる要因が、収縮性と局所的強い誤差制御であることを確立すること。

提案手法

• フレームワークは、積分法の収縮性と数値スキームの局所的強い誤差の2要素を用いて、不変測度 $\pi^\star$ と数値近似分布との間の2 Wasserstein距離を評価する。
• Ito-Taylor展開とモーメントバウンドを用いて、UBU積分法の位置および速度成分における局所誤差を推定する。
• 動的システムを確定的および確率的サブステップに分離するスプリット戦略を採用し、1ステップあたり1回の勾配評価で効率的な実装を可能にする。
• P-ノルムと $L^2$-内積を用いて、ユークリッドノルムのバウンドをWasserstein距離解析に適した推定に変換する。
• フレームワークは過減衰およびアンダーダンプドランジュヴィンSDEに適用可能であり、強い対数凸性および滑らかさの仮定の下で明示的なバウンドを導出する。
• 理論的バウンドは、1ステップにおける正確解と数値解の差を分析し、その後、収縮性を用いて $n$ ステップにわたって伝播させる。

実験結果

リサーチクエスチョン

• RQ1 エルゴディックSDEの不変測度とその数値近似との間の2 Wasserstein距離を、非漸近的にどのようにバウンドできるか？
• RQ2 積分法の収縮性と局所的強い誤差が、高次元かつ強い対数凸性の下で、数値サンプリングの収束速度にどのように影響を与えるか？
• RQ3 アンダーダンプドランジュヴィンダイナミクスのためのスプリット積分法が、1ステップあたり1回の勾配評価で最適複雑度を達成できるか？
• RQ4 EE法と比較して、新規のUBU積分法の誤差と計算コストの性能はどのようになるか？
• RQ5 サンプリングの複雑度が、条件数 $\kappa$、次元 $d$、およびターゲット精度 $\epsilon$ にどのように依存するか？

主な発見

• 提案されたフレームワークは、収縮性と局所的強い誤差に依存する、真の不変測度と数値近似との間の2 Wasserstein距離に対する一般非漸近的バウンドを提供する。
• UBU積分法に関しては、2 Wasserstein誤差が $\mathcal{O}(\kappa^{5/4}d^{1/4}\epsilon^{-1/2})$ ステップで、分布の精度が $\epsilon$ に達することを保証する。
• UBU積分法は、1ステップあたり1回の勾配評価でこの複雑度を達成しており、EE法と同等の計算コストであるが、より優れた収束特性を示す。
• 高階微分可能性（仮定2.3）が満たされない場合でも、UBU積分法は強い1次収束を達成し、主な誤差項は $c^{3/2}Ld^{1/2}$ および $cL^{1/2}d^{1/2}$ で支配され、$L$ に対して有利にスケーリングされる。
• 分析により、UBUの局所誤差は、主な項 $c^{3/2}Ld^{1/2}$ において、EE法の誤差の約 $\sqrt{3}/3 \approx 0.577$ 倍に抑えられており、収束性が優れていることが示される。
• フレームワークにより、より優れた収縮性とより小さい局所的強い誤差を持つ積分法が、高次元および低誤差領域で優れた性能を発揮することが確認された。