[論文レビュー] Optimal scalings for local Metropolis--Hastings chains on nonproduct targets in high dimensions

Alexandros Beskos, Gareth O. Roberts+1 more|UCL Discovery (University College London)|Aug 6, 2009

Markov Chains and Monte Carlo Methods被引用数 15

ひとこと要約

本稿は、高次元における非積分型の目標分布に対して、局所的メトロポリス・ハスティングスアルゴリズム（ランダムウォークメトロポリス：RWM および簡略化ラングジュアン法：SLA）の最適スケーリングを導出する。目標測度が、分散の減衰率 λᵢ = i⁻ᵏ である積分型測度からの変換として定義される場合、RWM に対しては最適ステップサイズが σ²ₙ = O(n⁻²ᵏ⁻¹) に比例し、SLA に対しては σ²ₙ = O(n⁻²ᵏ⁻¹ᐟ³) に比例することを示し、これにより高次元ベイズ推論および確率的偏微分方程式問題における効率的な探索と最適な受容率が保証される。

ABSTRACT

We investigate local MCMC algorithms, namely the random-walk Metropolis and the Langevin algorithms, and identify the optimal choice of the local step-size as a function of the dimension $n$ of the state space, asymptotically as $n o\infty$. We consider target distributions defined as a change of measure from a product law. Such structures arise, for instance, in inverse problems or Bayesian contexts when a product prior is combined with the likelihood. We state analytical results on the asymptotic behavior of the algorithms under general conditions on the change of measure. Our theory is motivated by applications on conditioned diffusion processes and inverse problems related to the 2D Navier--Stokes equation.

研究の動機と目的

• n → ∞ のとき、高次元状態空間における局所的 MCMC アルゴリズム（RWM および SLA）の提案分散 σ²ₙ の最適スケーリングを特定すること。
• i.i.d. 目標分布に関する先行結果を、積分型測度からの測度変換によって生じる非積分型目標分布へと拡張すること。特に、ベイズ逆問題および確率的偏微分方程式の文脈を想定する。
• log密度 φₙ に課される解析的条件を確立し、MCMC アルゴリズムの漸近的挙動が、基準測度の分散 λᵢ = i⁻ᵏ の減衰率 κ のみに依存することを示すこと。
• SLA の提案において真の πₙ の代わりに基準測度 ˜πₙ を使用することの正当性を示し、これが漸近的効率性を損なわないことを証明すること。
• 2次元ナビエ–ストークス方程式の条件付き拡散および逆問題に適用される高次元 MCMC サンプリングの理論的基盤を提供すること。

提案手法

• 目標分布 πₙ を、dπₙ/d˜πₙ(x) = exp{−φₙ(x)} により定義される積分型基準測度 ˜πₙ からの測度変換として定式化し、φₙ が一般的な正則性条件を満たすことを仮定する。
• ランダムウォークメトロポリス（RWM）および簡略化ラングジュアン法（SLA）の提案分布をそれぞれ y = x + σₙZ および y = x + σₙ²/2 ∇log ˜πₙ(x) + σₙZ として定義する。
• MCMC の効率性の代理指標として平均二乗ジャンプ距離を用い、受容確率および混合時間の明示的漸近計算を可能にする。
• 関数解析的手法（Sobolev埋め込みおよびカーフェン＝ロイケ展開）を用いて、高次元空間内での φₙ の変動を制御する。
• 提案分布下での log 密度比 φₙ(y) − φₙ(x) の漸近的分布を分析し、受容確率および二乗ジャンプ距離の極限挙動を導出する。
• 最適スケーリングが基準分散 λᵢ = i⁻ᵏ の減衰率 κ に依存することを確立し、二乗ジャンプ距離の極限分散 τ_RWM および τ_SLA をそれぞれ定義する。

実験結果

リサーチクエスチョン

• RQ1 RWM および SLA において、非積分型の目標分布上で最適混合を得るために、ステップサイズ σₙ は次元 n に対してどのようにスケーリングすべきか？
• RQ2 基準測度分散 λᵢ = i⁻ᵏ の減衰率 κ が MCMC アルゴリズムの最適スケーリングに与える影響は何か？
• RQ3 真の目標分布 πₙ の勾配ではなく基準測度 ˜πₙ の勾配のみを用いる簡略化ラングジュアン法（SLA）は、完全な MALA と同等の漸近的効率性を達成できるか？
• RQ4 log 密度 φₙ にどのような条件下で、RWM および SLA の漸近的挙動が φₙ の具体的な構造に依存せず、減衰率 κ のみに依存するか？
• RQ5 理論的スケーリング結果は、条件付き拡散および2次元ナビエ–ストークス方程式の逆問題といった具体的な問題にどのように適用可能か？

主な発見

• RWM に対しては、最適ステップサイズが σ²ₙ = O(n⁻²ᵏ⁻¹) に比例し、これにより受容確率の極限が非退化な定数（κ = 0 の場合約 0.234）に収束することが保証される。
• SLA に対しては、最適ステップサイズが σ²ₙ = O(n⁻²ᵏ⁻¹ᐟ³) に比例し、同様の条件下で受容確率の極限が約 0.522 に収束する。
• 基準測度 ˜πₙ の勾配を用いた SLA の漸近的効率性は、真の目標分布 πₙ の勾配を用いる場合と同等であり、この簡略化が正当化される。
• RWM の平均二乗ジャンプ距離の極限挙動は、τ_RWM = limₙ n⁻²ᵏ⁻¹ ∑ᵢ₌₁ⁿ λᵢ⁻² に収束し、仮定された減衰率 λᵢ = i⁻ᵏ の下で有限かつ正の値をとる。
• 2次元ナビエ–ストークス逆問題では、κ = 1 の場合、最適スケーリングは σ²ₙ = O(n⁻³) に比例する。これは、基準分散 λᵢ ∝ i⁻¹ の減衰率に対応する。
• 代数的減衰 λᵢ,n = i⁻ᵏⁿ に対して、kⁿ → κ である限り、結果は安定であり、極限定数は n⁻²ᵏ⁻¹ ∑ᵢ₌₁ⁿ λᵢ⁻² の極限に依存する。これは i.i.d. 場合（κ = 0）を一般化する。