[論文レビュー] Rapid Convergence of the Unadjusted Langevin Algorithm: Isoperimetry Suffices

Santosh Vempala, Andre Wibisono|arXiv (Cornell University)|Mar 20, 2019

Markov Chains and Monte Carlo Methods被引用数 38

ひとこと要約

この論文は、凸性を要求せず log-Sobolev および Poincaré 不等式の下で Unadjusted Langevin Algorithm (ULA) の急速収束保証を示し、KL発散と Rényi 発散の収束と ULA の偏りリミットのバイアスも分析します。

ABSTRACT

We study the Unadjusted Langevin Algorithm (ULA) for sampling from a probability distribution $ν= e^{-f}$ on $\mathbb{R}^n$. We prove a convergence guarantee in Kullback-Leibler (KL) divergence assuming $ν$ satisfies a log-Sobolev inequality and the Hessian of $f$ is bounded. Notably, we do not assume convexity or bounds on higher derivatives. We also prove convergence guarantees in Rényi divergence of order $q > 1$ assuming the limit of ULA satisfies either the log-Sobolev or Poincaré inequality. We also prove a bound on the bias of the limiting distribution of ULA assuming third-order smoothness of $f$, without requiring isoperimetry.

研究の動機と目的

• 非対数-凹分布を ULA を用いて Isoperimetric 条件（LSI または Poincaré）下で高速にサンプリングする動機づけ。
• ターゲットが LSI かつ滑らかな場合、ULA に沿った KL 発散の指数的収束を確立。
• 連続時間 Langevin ダイナミクスと離散時間 ULA の両方において、Rényi 発散の次数 q>1 に対する収束解析を拡張。
• ULA の偏りリミット ν_η を特徴づけ、その滑らかさ仮定の下でのバイアスを境界付ける。
• ステップサイズ η および問題定数（LSI/Poincaré 定数、滑らかさ）に収束速度を関連付ける。

提案手法

• LSI を満たす L-smooth なターゲットの下で Langevin ダイナミクスと ULA に沿った KL 発散を解析し、一-step KL 減少境界 H_ν(ρ_{k+1}) ≤ e^{−αη}H_ν(ρ_k) + 6η^2 n L^2 を導出。
• LSI の下で Langevin ダイナミクスに沿う KL 発散の指数減衰を証明: H_ν(ρ_t) ≤ e^{−2αt}H_ν(ρ_0)。
• q>1 の Rényi 発散の枠組みを開発し、分解補題とバイアスの考慮を含める；LSI の下で連続時間の指数的減衰を証明: R_{q,ν}(ρ_t) ≤ e^{−2αt/q}R_{q,ν}(ρ_0)。
• ULA に沿った Rényi 発散が ν_η という偏りリミットへ収束することを確立（ν_η が LSI または Poincaré を満たすとき）。β>0 の下での減衰率は R_{q,ν_η}(ρ_k) = e^{−β η k/q} に等しい。
• 第三階の滑らかさの下で ν_η のバイアス境界を提供し、 ν が滑らかで強く対数凹である場合 ν_η が LSI を継承する条件を示す。
• underdamped Langevin および MALA との比較を行い、反復の複雑さと次元および δ 依存性について論じる。

実験結果

リサーチクエスチョン

• RQ1 Isoperimetric 条件の下で ULA は凸性なしでターゲット ν へ急速収束を達成できるか？
• RQ2 log-Sobolev または Poincaré 不等式は Langevin ダイナミクスと ULA に沿った KL 発散や Rényi 発散の指数収束を保証するか？
• RQ3 ULA の偏りリミット ν_η の性質は何か、バイアスの境界と η 依存性の定量化はどう行うか？
• RQ4 LSI の下で Rényi 発散の次数 q>1 が ULA に沿って偏りリミットへ収束することを示せるか、そしてバイアスは ν への収束にどう影響するか？
• RQ5 ステップサイズ η と滑らかさ定数（L）は KL および Rényi 発散の収束の反復複雑性と誤差境界にどう影響するか？

主な発見

• ULA は LSI と L-smooth な条件下で KL 発散の収束を達成し、H_ν(ρ_k) ≤ e^{−αηk}H_ν(ρ_0) + (8η n L^2)/α の明示的境界を持つ。
• 選択された η ≤ α/(4L^2) の場合、k 回の反復後の KL 誤差は H_ν(ρ_k) ≤ δ を満たす：k ≥ (1/(αη)) log(2H_ν(ρ_0)/δ)。
• 連続 Langevin ダイナミクスでは Rényi 発散が指数的に減衰する： R_{q,ν}(ρ_t) ≤ e^{−2αt/q}R_{q,ν}(ρ_0) for q ≥ 1 が LSI の下で；Poincaré の下では減衰は初項線形 → 指数的。
• ULA に沿って Rényi 発散が偏りリミット ν_η へ減衰する：Assumption 1（ν_η が β>0 の LSI を満たす）の下での減衰率は e^{−β η k/q}。
• 分解境界が示す： R_{q,ν}(ρ_k) ≤ ((q−1/2)/(q−1)) R_{2q,ν_η}(ρ_0) e^{−β η k/(2q)} + R_{2q−1,ν}(ν_η)。
• バイアス境界：第三階の滑らかさがある場合（Isoperimetry なし）、偏りリミットと ν との距離を相対的フィッシャー情報で境界付ける； ν が滑らかで強く対数凹である場合 ν_η は LSI を継承する。