[論文レビュー] Is There an Analog of Nesterov Acceleration for MCMC?

Yi-An Ma, Niladri S. Chatterji+4 more|arXiv (Cornell University)|Feb 4, 2019

Markov Chains and Monte Carlo Methods参考文献 44被引用数 44

ひとこと要約

この論文は、underdamped Langevin アルゴリズムが KL 発散に関する確率測度空間における加速勾配法として機能し、特定の条件下で古典的 Langevin よりも高速な収束率を達成することを示します。

ABSTRACT

We formulate gradient-based Markov chain Monte Carlo (MCMC) sampling as optimization on the space of probability measures, with Kullback-Leibler (KL) divergence as the objective functional. We show that an underdamped form of the Langevin algorithm performs accelerated gradient descent in this metric. To characterize the convergence of the algorithm, we construct a Lyapunov functional and exploit hypocoercivity of the underdamped Langevin algorithm. As an application, we show that accelerated rates can be obtained for a class of nonconvex functions with the Langevin algorithm.

研究の動機と目的

• 確率測度を目的関数として KL 発散を用いて最適化として表現し、勾配ベースの MCMC を定式化する。
• underdamped Langevin ダイナミクスがこの計量における加速勾配降下を実装することを示す。
• Lyapunov 決定量と hypocoercivity による underdamped Langevin 過程の収束保証を確立する。
• log-Sobolev 不等式の下で、局所的に非凸なターゲットのクラスに対して加速収束率を示す。

提案手法

• MCMC サンプリングを確率測度空間上の KL-勾配流として解釈する。
• 拡張状態空間でのモーメントを含む加速勾配降下 (AGD) ダイナミクスを導入し、対応する underdamped Langevin SDE を導出する。
• モーメートムと位置を結ぶ Lyapunov 決定量を構築し、連続時間で線形収束率を示す（収束率は log-Sobolev 定数に関連）。
• AGD ダイナミクスを高次の離散化スキームで近似し、加速を保持しつつ離散化誤差を解析する。
• 連続 AGD を離散的な underdamped Langevin アルゴリズムに関連付け、ステップサイズの指針を提供する。
• モーメント再サンプリングを HMC へのリンクとして議論し、実務の混合性に影響を与える可能性を検討する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの MCMC アルゴリズムに Nesterov 加速の類似性を実現できるか。
• RQ2 underdamped Langevin ダイナミクスは log-Sobolev 条件下で KL 発散の加速収束率を提供するか。
• RQ3 MCMC における加速が存在する場合、どのような Lyapunov 構造が収束を保証できるか。
• RQ4 離散化は MCMC の加速収束保証にどのように影響するか。
• RQ5 このダイナミクスの下で、どのクラスのターゲット分布（例えば、局所的に非凸であるが一定の滑らかさを有するもの）が加速収束率を得られるか。

主な発見

• underdamped Langevin ダイナミクスは KL 発散に関して加速勾配降下を実装する。
• log-Sobolev 不等式を満たすターゲットについて、underdamped スキームは KL 発散で収束を d/ε から √(d/ε) に加速する（定理 1）。
• モーメントと位置を結ぶ Lyapunov 決定量は連続時間で線形収束率を生み出す（収束率は ρ/10）。
• 高次の離散化スキームは加速を保持し、実用的なステップサイズの選択肢を提供する（h は L_G, L_H, ρ, d, ε に依存）。
• このアプローチは最適化に基づく加速と hypocoercivity を結びつけ、非凸ターゲットのクラスに対して加速収束を可能にする。
• モーメント再始動（リサンプリングを介して）は HMC に関連し、実務的な混合性に影響する可能性がある。