[論文レビュー] Rates in the Central Limit Theorem and diffusion approximation via Stein's Method

Chattopadhyay, Eshan, De, Anindya+1 more|arXiv (Cornell University)|Jun 23, 2015

Point processes and geometric inequalities参考文献 29被引用数 11

ひとこと要約

本稿は、確率測度 $\nu$ と標的測度 $\mu$ 間の $p \geq 1$ 階 Wasserstein 距離をバウンドするための Stein の方法の新しい応用を展開する。特に多変量正規分布および一般の可逆拡散過程に注目する。$X_t \sim \nu$ を満たす確率過程 $(X_t)_{t \geq 0}$ を用い、$\nu$ が不変となる時刻依存作用素 $ (L_\nu)_t $ を構築することで、テイラー展開とモーメント推定を用いた収束速度の評価が可能になる。主な貢献は、弱い仮定のもとで 2-Wasserstein 距離に対する定量的・非漸近的バウンドを提供することであり、一般の拡散過程への拡張およびモンテカルロサンプリングやランダム幾何グラフへの応用も含む。

ABSTRACT

We present a way to use Stein's method in order to bound the Wasserstein distance of order $2$ between two measures $ν$ and $μ$ supported on $\mathbb{R}^d$ such that $μ$ is the reversible measure of a diffusion process. In order to apply our result, we only require to have access to a stochastic process $(X_t)_{t \geq 0}$ such that $X_t$ is drawn from $ν$ for any $t > 0$. We then show that, whenever $μ$ is the Gaussian measure $γ$, one can use a slightly different approach to bound the Wasserstein distances of order $p \geq 1$ between $ν$ and $γ$ under an additional exchangeability assumption on the stochastic process $(X_t)_{t \geq 0}$. Using our results, we are able to obtain convergence rates for the multi-dimensional Central Limit Theorem in terms of Wasserstein distances of order $p \geq 2$. Our results can also provide bounds for steady-state diffusion approximation, allowing us to tackle two problems appearing in the field of data analysis by giving a quantitative convergence result for invariant measures of random walks on random geometric graphs and by providing quantitative guarantees for a Monte Carlo sampling algorithm.

研究の動機と目的

• 確率測度 $\nu$ と標的測度 $\mu$ 間の $p \geq 1$ 階 Wasserstein 距離を、確率過程を用いて一般化してバウンドするフレームワークの構築。
• 古典的な Stein 方程式や Stein カーネルの計算を回避するため、$\nu$ を不変にする時刻依存作用素 $ (L_\nu)_t $ を導入することで Stein の方法を拡張すること。
• 多変量中心極限定理の $W_p$ 距離（$p \geq 2$）における非漸近的・定量的収束速度の特定。
• ステディステート拡散近似への応用、特にランダム幾何グラフ上のランダムウォークの不変測度およびモンテカルロサンプリングアルゴリズムへの適用。

提案手法

• すべての $t > 0$ で $X_t \sim \nu$ を満たす確率過程 $ (X_t)_{t \geq 0} $ を導入し、$ (L_\nu)_t \varphi(x) = \frac{1}{s} \mathbb{E}[\varphi(X_t) - \varphi(X_0) \mid X_0 = x] $ で定義される作用素族 $ (L_\nu)_t $ を構築する。
• $\nu$ が $ (L_\nu)_t $ に関して不変であることを利用し、標的拡散過程の生成作用素 $ L_\mu $ と比較する。テイラー展開を用いて両作用素の関係を導出する。
• 時間平均作用素 $ (L_\nu)_t $ と標準正規拡散の生成作用素 $ L_\gamma $ 間の乖離を制御することで、Wasserstein 距離 $ W_2(\nu, \gamma) $ のバウンドを確立する。
• 交換可能性を満たす場合、$ (L_\nu)_t \varphi(x) = \frac{1}{s} \mathbb{E}[(X_t - X_0)(\varphi(X_t) + \varphi(X_0)) \mid X_0 = x] $ と定義される修正作用素を導入し、$p \geq 1$ に対する $W_p$ 距離のバウンドを可能にする。
• コンパクトな台を持つ摂動 $U$ を用いたモーメント推定とカップリング論法により、テイラー展開の誤差を制御する。特に $ \mathbb{E}[\|X_t - X_0\|^{2+\xi}] $ および $ \mathbb{E}[\|b(X_0)\|_{a^{-1}}^2] $ のバウンドを実施する。
• 2 つの応用にこの方法を適用する：(1) ランダム幾何グラフ上のランダムウォークの不変測度が拡散極限に収束する現象、(2) 既知の不変測度を持つ確率過程に基づくモンテカルロサンプリングアルゴリズムの収束保証。

実験結果

リサーチクエスチョン

• RQ1 確率過程 $ (X_t)_{t \geq 0} $ で $ X_t \sim \nu $ を満たすものがあるとき、$\nu$ と標的測度 $\mu$ 間の $W_p$ 距離に対する非漸近的バウンドを導出できるか？
• RQ2 高次元において、Stein 方程式の解法や Stein カーネルの計算を回避するため、Stein の方法をどのように拡張できるか？
• RQ3 最小限の仮定のもとで、多変量中心極限定理の $W_p$ 距離（$p \geq 2$）における収束速度はどのようになるか？
• RQ4 このフレームワークは、例えばランダム幾何グラフ上のランダムウォークの不変測度に対するステディステート拡散近似に対して、定量的保証を提供できるか？
• RQ5 交換可能性は $W_p$ 距離のバウンドを強化する役割を果たすか？また、$ (L_\nu)_t $ と $ L_\mu $ 間の直接的な比較を可能にするか？

主な発見

• 本稿では、$\nu$ と標準正規測度 $\gamma$ 間の 2-Wasserstein 距離に対してバウンドを確立し、$\epsilon_1, \epsilon_2, \epsilon_3 \to 0$、$n \to \infty$ の下で $ (1 - e^{-c\kappa T}) W_2(\tilde{\nu}_{n,\epsilon_1,\epsilon_2}, \mu) \leq \int_0^T \mathbb{E}[S(t)^2]^{1/2} dt + o(1) $ が成り立つことを示した。
• 交換可能な過程の場合、$p \geq 1$ に対する $W_p$ 距離のバウンドが得られ、その鍵となる推定は時間平均作用素と生成作用素 $L_\mu$ 間の差の $L^2$ ノルムに依存する。
• 多変量中心極限定理の収束速度は、$p \geq 2$ の $W_p$ 距離で定量的に特定され、これは增量 $X_t - X_0$ のモーメントおよびドリフト・拡散係数の正則性に依存する。
• グラフおよびプロセスに関する弱い仮定のもとで、ランダム幾何グラフ上のランダムウォークの不変測度が拡散極限に収束することを定量的に保証するフレームワークが提供された。
• 既知の不変測度を持つ確率過程に基づくモンテカルロサンプリングアルゴリズムに対して、実現測度と標的不変測度との距離に対する非漸近的バウンドが得られ、混合時間およびモーメント条件に明示的な依存関係を示した。
• 解析により、指数的エルゴドリシティの下で、$\mu$ への $W_2$ 距離は、プロセスの生成作用素と標的拡散の生成作用素の乖離の $L^2$ ノルムによって制御可能であることが示された。