[論文レビュー] Further and stronger analogy between sampling and optimization: Langevin Monte Carlo and gradient descent

Arnak S. Dalalyan|arXiv (Cornell University)|Apr 16, 2017

Gaussian Processes and Bayesian Inference被引用数 53

ひとこと要約

本論文は、サンプリングの Langevin Monte Carlo (LMC) と最適化の勾配降下法との関連を強化し、Wasserstein 距離の保証を改善するとともに、ノイズのある勾配評価への拡張を提供する。

ABSTRACT

In this paper, we revisit the recently established theoretical guarantees for the convergence of the Langevin Monte Carlo algorithm of sampling from a smooth and (strongly) log-concave density. We improve the existing results when the convergence is measured in the Wasserstein distance and provide further insights on the very tight relations between, on the one hand, the Langevin Monte Carlo for sampling and, on the other hand, the gradient descent for optimization. Finally, we also establish guarantees for the convergence of a version of the Langevin Monte Carlo algorithm that is based on noisy evaluations of the gradient.

研究の動機と目的

• LMCと勾配降下法を用いたサンプリングと最適化の類推を動機づけ、定量化する。
• 強い凸性とリプシッツ勾配条件の下で、LMCのWassersteinに基づく収束保証をより鋭く提供する。
• 勾配がノイズ付きで観測されるノイズ勾配設定へ保証を拡張する。
• 最適化の収束との関連を論じ、非強凸または非滑らかなケースへの拡張の可能性を議論する。

提案手法

• Langevin diffusion の Euler離散化としてのLangevin Monte Carloを、平衡密度が e^{-f(θ)} に比例するものとして分析する。
• ステップサイズ h の下での Wasserstein 距離界限 W2(nuK, pi) を導出し、h <= 2/(m+M) および h >= 2/(m+M) の領域を区別する。
• 新しい境界を以前の結果（Durmus & Moulines 2016）と比較し、定数をより鋭く示す。
• ノイズのある勾配評価へ分析を拡張する：Y^{(k,h)} = ∇f(θ) + σ zeta を観測。
• ノイズ付き LMC の境界を提供し、追加のノイズ項を含む境界を示す。
• f_τ を用いた温度付けと、τ -> 0 のとき θ* への収束を示すことで、サンプリング保証を最適化への収束と関連づける。

実験結果

リサーチクエスチョン

• RQ1 強い凸性とリプシッツ勾配条件の下で、 Langevin Monte Carlo の2乗 Wasserstein 収束境界はこれまでの結果とどう比較されるか？
• RQ2 ノイズ勾配評価を用いた場合の LMC の収束へ与える影響はどうか。ノイズレベルと次元数で境界はどのようにスケールするか？
• RQ3 目的関数のスケールされた版を考慮したとき、 LMC は勾配降下法とどのような関係で収束するか？

主な発見

• h <= 2/M の場合、W2(nuK, pi) は幾何減衰する項と sqrt(h p) の項の和で有界となる。
• h <= 2/(m+M) のとき、W2(nuK, pi) <= (1 - m h)^K W2(nu0, pi) + 1.82 (M/m) (h p)^{1/2}。
• h >= 2/(m+M) のとき、W2(nuK, pi) <= (M h - 1)^K W2(nu0, pi) + 1.82 (h p)^{1/2} * (M h)/(2 - M h)^{1/2}。
• ノイズ勾配の LMC は境界に追加のノイズ項をもたらし、σ^2 と M, m, p, および h を含む境界によって勾配推定への頑健性を示す。
• τ -> 0 の極限において境界が最適化の収束速度を回復し、LMC の結果がサンプリングへの勾配降下法の自然な拡張として位置づけられる。