[論文レビュー] Gradient Flow from a Random Walk in Hilbert Space

Natesh S. Pillai, Andrew M. Stuart+1 more|arXiv (Cornell University)|Aug 6, 2011

Markov Chains and Monte Carlo Methods参考文献 34被引用数 5

ひとこと要約

本稿は、ヒルバート空間上でのメトロポリス補正付きランジュバン型マルコフ連鎖に対して拡散極限を確立し、その収束が、ガウス型基準測度から引き継がれる共分散構造を持つウィーナー過程によって駆動されるノイズあり勾配フローSDEに弱収束することを示している。主な結果は、次元に依存しないO(1)ステップでターゲット測度を探索できることであり、標準的なMCMC手法とは異なり次元に頑健な代替手法を提供する。

ABSTRACT

Consider a probability measure on a Hilbert space defined via its density with respect to a Gaussian. The purpose of this paper is to demonstrate that an appropriately defined Markov chain, which is reversible with respect to the measure in question, exhibits a diffusion limit to a noisy gradient flow, also reversible with respect to the same measure. The Markov chain is defined by applying a Metropolis-Hastings accept-reject mechanism to an Ornstein-Uhlenbeck proposal which is itself reversible with respect to the underlying Gaussian measure. The resulting noisy gradient flow is a stochastic partial differential equation driven by a Wiener process with spatial correlation given by the underlying Gaussian structure.

研究の動機と目的

• 無限次元ヒルバート空間上でのメトロポリス補正付きランダムウォークの厳密な拡散極限を確立すること。
• 事前分布に可逆なオルンシュタイン＝ウーレン型提案に基づくMCMC手法が次元に依存しない収束を達成することを示すこと。
• 適切に構築されたマルコフ連鎖から自然に確率的勾配降下SDEが出現することを示し、無限次元における最適化の基盤を提供すること。
• 調整可能なノイズレベルを持つSDEを構築することで、ヒルバート空間における焼きなまし法と最適化の理論的枠組みを提供すること。
• 有限次元近似に対するアルゴリズムの頑健性を証明することで、'最適化してから離散化する'手法の正当化をすること。

提案手法

• ガウス測度 π₀^τ に関して可逆なオルンシュタイン＝ウーレン型提案核を用いて、ヒルバート空間上にメトロポリス＝ハスティングスの受容棄却機構を適用することで、可逆なマルコフ連鎖を構築する。
• 提案核は線形SDE dz = −z dt + √(2τ) dW で定義され、ガウス測度 π₀^τ に関して可逆である。
• 完全なマルコフ連鎖の不変測度は、dπ^τ/dπ₀^τ ∝ exp(−Ψ(x)/τ) で定義される非ガウス型測度 π^τ である。
• マルコフ連鎖の経路を区分的線形補間することで、連続時間における確率過程を定義する。
• 弱収束理論を用いて、補間された過程が、J(x) = ½∥C⁻¹/²x∥² + Ψ(x) であるSDE dX = −∇J(X) dt + √(2τ) dW に法則収束することを示す。
• 受容確率と時間スケーリングの制御のため、緊密性、モーメントバウンド、およびカップリングの手法（例：i.i.d.補助ベルヌーイ変数を用いる）を併用する。

実験結果

リサーチクエスチョン

• RQ1 ヒルバート空間上でのメトロポリス補正付きランダムウォークが、ステップサイズを小さくした極限において、弱収束してノイズあり勾配フローSDEに収束するか？
• RQ2 標準的なランダムウォークやランジュバンMCMCとは異なり、次元N → ∞ の極限においても、ターゲット測度の探索にO(1)ステップで到達できるか？
• RQ3 明示的な勾配計算なしに、無限次元におけるマルコフ連鎖構成から自然に確率的勾配降下SDEが出現するか？
• RQ4 MCMCアルゴリズムの収束は有限次元近似に対して頑健か、それとも次元が増加するにつれて劣化するか？
• RQ5 得られるSDEにおけるノイズレベルを独立に調整可能か。これにより、ヒルバート空間における焼きなまし法への応用が可能になるか？

主な発見

• 補間されたマルコフ連鎖は、Wが共分散作用素Cを持つウィーナー過程であるSDE dX = −∇J(X) dt + √(2τ) dW に弱収束する。
• 極限SDEの不変測度は、ガウス測度 π₀^τ に対する密度を介して定義されるターゲット測度 π^τ である。
• アルゴリズムは次元に依存しない性能を達成する：次元Nにかかわらず、ターゲット測度の探索にはO(1)ステップで十分である。
• 事前分布に可逆な提案を用いることで、高次元においても受容確率がゼロから離れて保たれ、混合性が頑健である。
• マルコフ連鎖経路の時間スケーリングは連続時間に収束し、スケーリングされた過程は弱位相における関数的中心極限定理を満たす。
• Ψおよびカマラ・マーチンノルムに関する適切な仮定の下で、Hsノルムにおける軌道の緊密性とモーメントバウンドが確立された。