[論文レビュー] Weighted Multilevel Langevin Simulation of Invariant Measures

Gilles Pagès, Fabien Panloup|arXiv (Cornell University)|Jul 4, 2016

Markov Chains and Monte Carlo Methods参考文献 34被引用数 6

ひとこと要約

本稿では、エルゴディックな拡散過程の不変測度を効率的にシミュレートするための重み付き多層階リチャードソン＝ロムバーグ（ML2R）ランゲビン手法を提案する。多層モンテカルロとリチャードソン＝ロムバーグ補外、および重み付き経験測度を組み合わせることで、目標精度εに対する平均二乗誤差収束速度がε⁻² log(ε⁻¹)に達し、標準的なオイラースキームの1/3という速度よりも顕著に優れている。

ABSTRACT

We investigate a weighted Multilevel Richardson-Romberg extrapolation for the ergodic approximation of invariant distributions of diffusions adapted from the one introduced in~[Lemaire-Pag\`es, 2013] for regular Monte Carlo simulation. In a first result, we prove under weak confluence assumptions on the diffusion, that for any integer $R\ge2$, the procedure allows us to attain a rate $n^{\frac{R}{2R+1}}$ whereas the original algorithm convergence is at a weak rate $n^{1/3}$. Furthermore, this is achieved without any explosion of the asymptotic variance. In a second part, under stronger confluence assumptions and with the help of some second order expansions of the asymptotic error, we go deeper in the study by optimizing the choice of the parameters involved by the method. In particular, for a given $\varepsilon extgreater{}0$, we exhibit some semi-explicit parameters for which the number of iterations of the Euler scheme required to attain a Mean-Squared Error lower than $\varepsilon^2$ is about $\varepsilon^{-2}\log(\varepsilon^{-1})$. Finally, we numerically this Multilevel Langevin estimator on several examples including the simple one-dimensional Ornstein-Uhlenbeck process but also on a high dimensional diffusion motivated by a statistical problem. These examples confirm the theoretical efficiency of the method.

研究の動機と目的

• 標準的なオイラースキームを上回る収束速度を実現する、エルゴディックな拡散過程のための多層モンテカルロ法の開発。
• 多層リチャードソン＝ロムバーグ補外における重み付き経験測度の漸近的分散および収束速度の分析。
• より強いコンフラーケンス仮定の下でML2Rフレームワークのパラメータを最適化し、計算効率を向上。
• 合成データを用いた1次元および高次元の拡散過程、特にスパース回帰学習問題への数値的妥当性の検証。

提案手法

• ステップサイズγnを減少させるSDEのオイラー離散化に、重み付き多層階リチャードソン＝ロムバーグ補外を適用。
• 探索と収束の両方を満たすように、Hn → ∞およびΓn → ∞を満たす列(ηn)と(γn)を用いた重み付き経験測度νη,γnを用いる。
• νη,γn(f) = (ηn/Hn)f(¯Xn) + (1 - ηn/Hn)νη,γn−1(f)という再帰的計算により、オンライン推定を実現。
• より強いコンフラーケンス仮定の下で2次誤差展開を導出し、最小MSEを達成するためのパラメータ(ηn, γn)の最適化を実施。
• 目標MSE ε²を達成するためのε⁻² log(ε⁻¹)の反復複雑度を達成する、半明示的なパラメータ選択戦略を採用。
• 1次元のオーナイズ＝ウーレン、二重井戸ポテンシャル、および高次元スパース回帰問題を合成データを用いて検証。

実験結果

リサーチクエスチョン

• RQ1 多層リチャードソン＝ロムバーグ補外を、不変測度のランゲビンシミュレーションに適応させ、収束速度を向上させることができるか？
• RQ2 与えられた計算予算の下で、重み付き多層スキームにおけるどのパラメータ選択が平均二乗誤差を最小化するか？
• RQ3 拡散過程における弱いコンフラーケンス仮定と強いコンフラーケンス仮定の下で、この手法はどのように性能を発揮するか？
• RQ4 スパース回帰のような高次元統計的問題において、ML2Rアプローチは標準的なオイラースキームを上回るか？
• RQ5 実装上のパラメータ推定誤差に対して、この手法はどの程度ロバストか？

主な発見

• 弱いコンフラーケンス仮定の下では、任意の整数R ≥ 2に対して収束速度がn^(R/(2R+1))に達し、標準的なn^(1/3)速度よりも顕著に速い。
• 漸近的分散はレベルパラメータRに依存せず、安定した性能を維持する。
• より強いコンフラーケンス仮定の下では、平均二乗誤差をε²未満に抑えるための計算複雑度が約ε⁻² log(ε⁻¹)に達する。
• 数値結果により、1次元および高次元の拡散過程、特にスパース回帰学習問題において、手法の効率性が確認された。
• 二重井戸ポテンシャルおよびスパース回帰の例から、パラメータ推定誤差に対しても手法がロバストであることが示された。
• 特にスパarsity制約のある高次元設定では、粗いオイラースキームと比較して、ML2Rアプローチが顕著にバイアスを低減した。