[論文レビュー] Rapid Convergence of the Unadjusted Langevin Algorithm: Log-Sobolev Suffices.

Santosh Vempala, Andre Wibisono|arXiv (Cornell University)|Mar 20, 2019

Markov Chains and Monte Carlo Methods被引用数 8

ひとこと要約

本稿は、目標密度 $e^{-f}$ が対数ソボレフ不等式を満たし、$f$ が有界ヘッセ行列を持つという最小限の仮定のもとで、未調整ラングエビン法（ULA）の高速収束を確立する。主な貢献は、$f$ の凸性や高階の滑らかさを要件としない総変動距離における収束保証であり、ULA の適用範囲を顕著に拡大する。

ABSTRACT

We prove a convergence guarantee on the unadjusted Langevin algorithm for sampling assuming only that the target distribution $e^{-f}$ satisfies a log-Sobolev inequality and the Hessian of $f$ is bounded. In particular, $f$ is not required to be convex or have higher derivatives bounded.

研究の動機と目的

• 目標分布に対する弱い仮定のもとで未調整ラングエビン法の収束保証を確立すること。
• ULA 収束解析において、凸性や高階導関数の有界性を不要にする。
• 対数ソボレフ不等式と有界ヘッセ行列の両方が、ULA の高速収束に十分であることを示すこと。

提案手法

• 分析は、目標分布 $e^{-f}$ の対数ソボレフ不等式を、収束を制御する主要な関数不等式として用いる。
• カップリング論法を用いて、ULA の分布と目標分布との間の総変動距離を評価する。
• $f$ の有界ヘッセ行列により、離散化誤差が十分に制御可能であることが保証される。
• 強凸性や高階滑らかさに依存せず、対数ソボレフ定数とヘッセ行列の有界性の相互作用に依存する。
• 連続時間ラングエビン拡散のドリフトと拡散の分解を用いて、離散化誤差の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 ポテンシャル関数の凸性を要件としないで、未調整ラングエビン法が高速に収束するか。
• RQ2 高階導関数が無限大であっても、対数ソボレフ不等式だけがULA の収束を保証するか。
• RQ3 $f$ に対して必要な最小の正則性条件は何か、それでもULA の高速収束が保証されるか。
• RQ4 有界ヘッセ行列と対数ソボレフ条件が、離散化誤差をどのように制御するか。

主な発見

• 未調整ラングエビン法は、対数ソボレフ定数とヘッセ行列の有界性に多項式的に依存する収束速度で、総変動距離において収束する。
• $f$ の凸性を要件とせず、高階導関数が無限大であっても収束が保証される。
• ヘッセ行列が有界であれば、対数ソボレフ不等式が収束速度を制御するのに十分である。
• 従来の研究がしばしば強凸性や3階導関数の有界性を要件としていたのに対し、本手法はより弱い仮定のもとで収束保証を達成する。