[論文レビュー] Towards a Theory of Non-Log-Concave Sampling: First-Order Stationarity Guarantees for Langevin Monte Carlo

Krishnakumar Balasubramanian, Sinho Chewi+3 more|arXiv (Cornell University)|Feb 10, 2022

Markov Chains and Monte Carlo Methods被引用数 4

ひとこと要約

本稿は、勾配が$L$-リプシッツである場合に、平均化されたLMCアルゴリズムが非対数凸サンプリングにおける$L^{2}d^{2}/\varepsilon^{2}$ステップで$\varepsilon$-相対フィッシャー情報量を達成することを示すことにより、非対数凸サンプリングにおけるLangevinモンテカルロ（LMC）の最初の非漸近的複雑性保証を確立した。この結果は、非凸最適化における一次の停留性保証に類似しており、一般の非対数凸サンプリング理論への基盤的ステップを提供する。

ABSTRACT

For the task of sampling from a density $π\propto \exp(-V)$ on $\mathbb{R}^d$, where $V$ is possibly non-convex but $L$-gradient Lipschitz, we prove that averaged Langevin Monte Carlo outputs a sample with $\varepsilon$-relative Fisher information after $O( L^2 d^2/\varepsilon^2)$ iterations. This is the sampling analogue of complexity bounds for finding an $\varepsilon$-approximate first-order stationary points in non-convex optimization and therefore constitutes a first step towards the general theory of non-log-concave sampling. We discuss numerous extensions and applications of our result; in particular, it yields a new state-of-the-art guarantee for sampling from distributions which satisfy a Poincaré inequality.

研究の動機と目的

• 非凸最適化における一次の停留性に類似した非対数凸サンプリングの理論的枠組みを構築すること。
• ポテンシャル関数$V$が非凸であるが$L$-勾配リプシッツである場合に、Langevinモンテカルロ（LMC）の非漸近的収束保証を確立すること。
• $\varepsilon$-相対フィッシャー情報量を、最適化における$\varepsilon$-停留点のサンプリング版として定義し、達成すること。
• PoincaréやLSIなどの関数不等式を満たす分布からのサンプリングに関する既存の結果を、より広範かつ制限の少ない仮定へと拡張すること。

提案手法

• 収束の安定化と解析の改善を目的として、Langevinモンテカルロ（LMC）アルゴリズムの平均化版を提案する。
• 確率測度空間におけるKLダイバージェンスの勾配フローとしてのラングジュアン拡散のWasserstein勾配フロー解釈を用いる。
• 最適化における勾配ノルムの二乗のサンプリング版として、相対フィッシャー情報量$\mathsf{FI}(\mu\|\pi) = \mathbb{E}_\mu[\|\nabla\ln(\mu/\pi)\|^2]$を導入する。
• 離散化されたLMCプロセスにおけるノイズと勾配推定誤差を制御することで、KLダイバージェンスの減少に関する微分不等式を導出する。
• 時間ステップにわたるテレスコピック和の議論を適用し、$L$-勾配リプシッツ条件と確率的勾配の分散制御機構を活用する。
• KLダイバージェンスと勾配ノイズ分散を組み合わせたリャプノフ関数を用いて、フィッシャー情報量の減少を制御する。

実験結果

リサーチクエスチョン

• RQ1 最小限の仮定のもとで、非対数凸サンプリングにおけるLMCの非漸近的収束保証を確立できるか？
• RQ2 非凸最適化における一次の停留性の意味的な類似物は存在するか？ そして、フィッシャー情報量によってその量的評価は可能か？
• RQ3 非凸ポテンシャル関数に対して、$\varepsilon$-停留性を達成するための複雑性は、$L$、$d$、$\varepsilon$の関数として有界にできるか？
• RQ4 平均化されたLMCアルゴリズムは、非対数凸設定において、標準的なLMCよりも優れた収束を達成するか？

主な発見

• 勾配が$L$-リプシッツである場合、平均化されたLMCアルゴリズムは$L^{2}d^{2}/\varepsilon^{2}$ステップで$\varepsilon$-相対フィッシャー情報量を達成する。
• この結果は、非凸最適化における$\varepsilon$-停留点を求める際の$O(1/\varepsilon)$複雑性に類似した、非対数凸サンプリングにおける最初の非漸近的複雑性バウンドを提供する。
• 仮定は最小限である—$V$の$L$-勾配リプシッツ連続性のみを要する—対数凸性やLSIやPoincaréなどの関数不等式は不要である。
• Poincaré不等式を満たす分布からのサンプリングに関する先行の最良保証よりも、複雑性スケーリングがタイトに改善されている。
• 証明技法は、KLダイバージェンスと勾配ノイズ分散を組み合わせた新しいリャプノフ関数に依存しており、フィッシャー情報量の減少を制御可能である。
• フィッシャー情報量に基づく収束基準を導入することで、非対数凸サンプリングの一般理論への基盤的ステップを確立した。