[論文レビュー] Optimal Scaling of Random-Walk Metropolis Algorithms on General Target Distributions

Jun Yang, Gareth O. Roberts+1 more|arXiv (Cornell University)|Apr 27, 2019

Markov Chains and Monte Carlo Methods参考文献 57被引用数 4

ひとこと要約

この論文は、ベイズ統計における一般の高次元ターゲット分布に対して、ランダムウォークメトロポリスアルゴリズムの最適スケーリングを確立し、先行研究の制限的なi.i.d.積構造の仮定を越えて、現実的で検証可能な条件下で漸近的に最適な受容率0.234が達成可能であることを示している。結果は拡散極限近似を用いて導出され、座標間に依存性を持つモデルや非ガウス型ターゲットにも適用可能である。

ABSTRACT

One main limitation of the existing optimal scaling results for Metropolis--Hastings algorithms is that the assumptions on the target distribution are unrealistic. In this paper, we consider optimal scaling of random-walk Metropolis algorithms on general target distributions in high dimensions arising from practical MCMC models from Bayesian statistics. For optimal scaling by maximizing expected squared jumping distance (ESJD), we show the asymptotically optimal acceptance rate $0.234$ can be obtained under general realistic sufficient conditions on the target distribution. The new sufficient conditions are easy to be verified and may hold for some general classes of MCMC models arising from Bayesian statistics applications, which substantially generalize the product i.i.d. condition required in most existing literature of optimal scaling. Furthermore, we show one-dimensional diffusion limits can be obtained under slightly stronger conditions, which still allow dependent coordinates of the target distribution. We also connect the new diffusion limit results to complexity bounds of Metropolis algorithms in high dimensions.

研究の動機と目的

• ランダムウォークメトロポリスアルゴリズムの最適スケーリング理論を、制限的なi.i.d.積ターゲット仮定を超えて拡張すること。
• 高次元ターゲット分布に対して最適受容率0.234が成り立つ一般的で検証可能な十分条件を同定すること。
• 依存性を持つターゲット分布に対してやや強いが現実的な条件下で、RWMの1次元拡散極限を確立すること。
• 拡散極限の結果を高次元におけるMCMCアルゴリズムの複雑度の上限と結びつけること。
• 階層的およびグラフィカルモデルなどの非i.i.d.構造を持つ実用的ベイズモデルにおいて理論を検証すること。

提案手法

• 一般のターゲット分布の下で、期待二乗ジャンピング距離（ESJD）を最大化することにより最適スケーリングを導出する。
• 座標間に依存性を許容できる、検証が容易な新しい十分条件（A1–A5）を導入する。
• やや強い条件の下で1次元拡散極限を確立し、収束速度の漸近的解析を可能にする。
• 典型集合の列と集中不等式を用いて尾確率を制御し、拡散極限の収束を保証する。
• 階層的およびグラフィカルモデルにフレームワークを適用し、条件の検証を条件付き分布および対数密度勾配を用いて行う。
• 確率的バウンドとモーメント条件（例：m=5）を用いて尾確率のsummabilityとほとんど確実収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 高次元ターゲット分布に対して、ランダムウォークメトロポリスアルゴリズムの最適受容率0.234が成り立つ一般的条件は何か？
• RQ2 ターゲット分布に座標間の依存性がある場合、RWMに対して1次元拡散極限を確立できるか？
• RQ3 新しい十分条件は、古典的なi.i.d.積仮定と比較して、実際のベイズモデルへの適用性においてどのように異なるか？
• RQ4 拡散極限とRWMの高次元における計算複雑度の関係は何か？
• RQ5 理論的フレームワークは、非i.i.d.構造を持つ実用的ベイズ階層モデルに適用可能か？

主な発見

• ランダムウォークメトロポリスの漸近的最適受容率0.234は、i.i.d.または積構造を要件としない一般で検証可能な条件下でも達成可能である。
• 十分条件（A1–A5）は検証が容易であり、階層的およびグラフィカルモデルなどの座標間に依存性を持つ多数のベイズ的モデルで成立する。
• やや強いが現実的な条件下で1次元拡散極限が確立され、収束速度の漸近的解析が可能になる。
• 制限的なi.i.d.仮定を排除しつつも、同じ最適受容率を維持する点で、先行研究を一般化している。
• ガウス型基準測度を超えて、非ガウス型ターゲットおよび非ガウス型提案分布を含むモデルにも適用可能である。
• 理論的結果は、すべての必要な条件が条件付き分布およびモーメントバウンドを用いて検証された階層的正規分散成分モデルにおいて検証された。