[論文レビュー] On the Ergodicity, Bias and Asymptotic Normality of Randomized Midpoint Sampling Method

Ye He, Krishnakumar Balasubramanian+1 more|arXiv (Cornell University)|Dec 1, 2020

Markov Chains and Monte Carlo Methods被引用数 3

ひとこと要約

この論文は、過減衰およびアンダーダンプド・ランジュバン拡散の離散化に用いられる確率的中点法を分析し、強い凸性および滑らかさの下でその一様エルゴード性、バイアス、漸近正規性を確立する。定常ステップサイズのもとでバイアスが生じるが、ステップサイズが0に近づくにつれて漸近的にバイアスがなくなることが示され、数値積分における漸近正規性が導出され、信頼区間の構築が可能になる。

ABSTRACT

The randomized midpoint method, proposed by [SL19], has emerged as an optimal discretization procedure for simulating the continuous time Langevin diffusions. Focusing on the case of strong-convex and smooth potentials, in this paper, we analyze several probabilistic properties of the randomized midpoint discretization method for both overdamped and underdamped Langevin diffusions. We first characterize the stationary distribution of the discrete chain obtained with constant step-size discretization and show that it is biased away from the target distribution. Notably, the step-size needs to go to zero to obtain asymptotic unbiasedness. Next, we establish the asymptotic normality for numerical integration using the randomized midpoint method and highlight the relative advantages and disadvantages over other discretizations. Our results collectively provide several insights into the behavior of the randomized midpoint discretization method, including obtaining confidence intervals for numerical integrations.

研究の動機と目的

• 定常ステップサイズ下での確率的中点離散化の定常分布とバイアスを調査すること。
• この手法を用いた数値積分における漸近正規性を確立すること。
• 他の離散化スキームと比較して、本手法の統計的性質を評価すること。
• 数値積分における信頼区間の構築に理論的保証を提供すること。

提案手法

• 定常ステップサイズによるランジュバン拡散の確率的中点離散化から生じる離散時間マルコフ連鎖を分析する。
• 離散連鎖の定常分布を特徴付け、ターゲット分布に対するそのバイアスを定量化する。
• 関数中心極限定理の技法を用いて、エルゴード平均の漸近正規性を確立する。
• スペクトルギャップおよびドリフト条件を用いて、強い凸性および滑らかさの下での幾何的エルゴード性を証明する。
• ステップサイズおよびポテンシャル関数の曲率に基づく明示的なバイアスバウンドを導出する。
• オイラー＝マルヤムインおよび他の対称スキームと比較して、収束速度および分散特性を評価する。

実験結果

リサーチクエスチョン

• RQ1 定常ステップサイズにおける確率的中点離散化の定常分布の性質は何か？
• RQ2 ステップサイズを小さくするにつれて、この手法のバイアスはどのように変化するか？
• RQ3 離散化された過程のエルゴード平均は、漸近正規性定理を満たすか？
• RQ4 他の離散化スキームと比較して、この手法の統計的効率性はいかがなっているか？
• RQ5 この手法を用いた数値積分において、信頼区間を厳密に構築できるか？

主な発見

• 定常ステップサイズにおける確率的中点連鎖の定常分布は、ターゲット分布からバイアスを有するが、ステップサイズが0に近づくにつれてバイアスは消滅する。
• ステップサイズが0に近づく極限で漸近的不偏性を達成し、数値積分における一貫性が確認される。
• 離散化された過程のエルゴード平均は漸近正規性定理を満たし、有効な信頼区間の構築が可能になる。
• 推定量の漸近分散は良好に制御されており、他の対称離散化スキームと競争力を持つ。
• 強い凸性および滑らかさの下で、幾何的エルゴード性を示し、高速な混合を保証する。
• バイアスおよび漸近分散は、いずれもステップサイズおよびポテンシャル関数のヘッセ行列に明示的に依存する。