[論文レビュー] Optimal dimension dependence of the Metropolis-Adjusted Langevin Algorithm

Sinho Chewi, Chen Lü+4 more|arXiv (Cornell University)|Dec 23, 2020

Markov Chains and Monte Carlo Methods参考文献 33被引用数 8

ひとこと要約

この論文は、対数滑らかで強く対数凸な分布からのサンプリングに対して、メトロポリス補正付きランジュバン法（MALA）の最適な次元依存性を確立する。著者らは、メトロポリス補正の新しい射影に基づく解析を導入し、温かい初期状態のもとで混合時間は $ widetilde{ Theta}(d^{1/2})$ であることを証明し、先行研究の漸近的スケーリング限界 ($O(d^{1/3})$) と非漸近的バウンディング ($O(d)$) の間のギャップを解消する。

ABSTRACT

Conventional wisdom in the sampling literature, backed by a popular diffusion scaling limit, suggests that the mixing time of the Metropolis-Adjusted Langevin Algorithm (MALA) scales as $O(d^{1/3})$, where $d$ is the dimension. However, the diffusion scaling limit requires stringent assumptions on the target distribution and is asymptotic in nature. In contrast, the best known non-asymptotic mixing time bound for MALA on the class of log-smooth and strongly log-concave distributions is $O(d)$. In this work, we establish that the mixing time of MALA on this class of target distributions is $\widetildeΘ(d^{1/2})$ under a warm start. Our upper bound proof introduces a new technique based on a projection characterization of the Metropolis adjustment which reduces the study of MALA to the well-studied discretization analysis of the Langevin SDE and bypasses direct computation of the acceptance probability.

研究の動機と目的

• MALAの混合時間に関する漸近的スケーリング限界 ($O(d^{1/3})$) と非漸近的バウンディング ($O(d)$) の間の不一致を解消すること。
• 強い凸性と滑らかさを満たすポテンシャルのクラスにわたるMALAの最適次元依存性を確立すること。
• 積分布の仮定や高階微分条件に依存しない非漸近的解析を構築すること。
• 高次元におけるMALA収束速度の既知の上界と下界のギャップを埋めること。

提案手法

• メトロポリス補正の射影的特徴づけを導入し、受容確率を直接計算することから分離する。
• 既存の収束ツールを活用して、MALAの解析をよく理解されたランジュバンスデの離散化に還元する。
• MALAパスの三段階分解を用いて、提案と受容メカニズムにおけるずれを制御する。
• 集中不等式を用いて、現在状態と提案状態のノルム差に高確率バウンディングを確立する。
• 受容確率に対する精密なバウンディング $A(\boldsymbol{x},\boldsymbol{y}) \leq \sqrt{a(\boldsymbol{x},\boldsymbol{y})}$ を適用し、コンductanceを制御する。
• コンductanceの下界を確立するため、$ pi(E) \geq 1/2$ を満たす集合 $E$ を構築し、$h \gg d^{-1/3}$ のとき遷移確率が指数的に減少することを示す。

実験結果

リサーチクエスチョン

• RQ1 強い凸性と滑らかさを満たすポテンシャルのクラスにおいて、MALAの混合時間の最適次元依存性は何か？
• RQ2 ロバーツとローゼンタール（1998）による漸近的拡散限界からの $O(d^{1/3})$ スケーリングは、すべてのこのような分布に一様に成り立つか、それとも一部の分布では失敗するか？
• RQ3 非漸近的解析により、既存の $O(d)$ 結果よりもタイトなバウンディングを得られるか？
• RQ4 $O(d^{1/3})$ バウンディングはMALAに対してタイトか、それとも弱い仮定のもとで改善可能か？
• RQ5 ガウス分布をターゲットとするMALAのスペクトルギャップは何か？ そして次元とステップサイズとどのようにスケーリングするか？

主な発見

• $ alpha$-強く凸で $ beta$-滑らかなポテンシャルのクラスにおいて、MALAの混合時間は温かい初期状態のもとで $ widetilde{ Theta}(d^{1/2})$ である。
• 上界は、メトロポリス受容確率の直接計算を避ける、新しい射影に基づく解析によって確立された。
• 下界により、$h \gg d^{-1/3}$ のとき、ガウスターゲットにおけるMALAのコンダクタンスは指数的に小さくなることが示され、混合時間は少なくとも $ Omega(d^{1/3})$ であることが示された。
• ガウスターゲットにおけるMALAのスペクトルギャップは $O(h)$ で上界が与えられ、$h \ll d^{-1/3}$ が最適混合に必要であることが確認された。
• ロバーツとローゼンタール（1998）による $O(d^{1/3})$ スケーリングは、滑らかで強く凸なポテンシャルのクラスにわたって最適ではない。
• 特定の無限回微分可能な積分布に対して反例を構築し、MALAが $h \ll d^{-1/3}$ を満たさなければならず、一般には $d^{1/3}$ ルールが成り立たないことが示された。