[論文レビュー] Dimension-free convergence rates for gradient Langevin dynamics in RKHS

Boris Muzellec, Kanji Sato+2 more|arXiv (Cornell University)|Feb 29, 2020

Markov Chains and Monte Carlo Methods参考文献 64被引用数 5

ひとこと要約

本稿は、再帰的核ヒルバート空間（RKHS）における勾配ラングジュアンダイナミクス（GLD）および確率的GLD（SGLD）の次元に依存しない収束レートを確立する。スペクトルガラーキン離散化と関連するマルコフ連鎖の幾何的エルゴドリシティを用いる。主な貢献は、時間スケールにわたる一様で次元に依存しない非漸近的誤差バインディングであり、逆温度βおよび正則化パラメータに明示的な依存関係を有する。

ABSTRACT

Gradient Langevin dynamics (GLD) and stochastic GLD (SGLD) have attracted considerable attention lately, as a way to provide convergence guarantees in a non-convex setting. However, the known rates grow exponentially with the dimension of the space. In this work, we provide a convergence analysis of GLD and SGLD when the optimization space is an infinite dimensional Hilbert space. More precisely, we derive non-asymptotic, dimension-free convergence rates for GLD/SGLD when performing regularized non-convex optimization in a reproducing kernel Hilbert space. Amongst others, the convergence analysis relies on the properties of a stochastic differential equation, its discrete time Galerkin approximation and the geometric ergodicity of the associated Markov chains.

研究の動機と目的

• 有限次元設定における既存のGLD/SGLD収束レートが次元に伴い指数関数的に増大するという限界を解消すること。
• 再帰的核ヒルバート空間（RKHS）における非有限次元最適化に収束解析を拡張すること。
• 非凸的で正則化された最適化問題におけるRKHS上でのGLDおよびSGLDの非漸近的・次元に依存しない収束バインディングを導出すること。
• 無限次元空間における時間離散化ダイナミクスの幾何的エルゴドリシティを確立すること。
• 無限次元設定において、不変測度下での期待目的関数値とグローバル最小値との距離を評価すること。

提案手法

• 無限次元RKHSにおける連続時間ラングジュアンスデを離散化するためにスペクトルガラーキン法を用いる。
• SPDE理論の結果（Bréhier, 2014; BréhierとKopec, 2016）を用いて、離散時間ガラーキンスキームの弱近似誤差を分析する。
• カーネル作用素のスペクトル性質とリャプノフ関数技術を用いて、時間離散化マルコフ連鎖の幾何的エルゴドリシティを確立する。
• SDEの不変測度とギブス分布との関係を活用し、サンプリングと最適化を結びつける。
• 条件付きKLダイバージェンス分解を用いて、SGLDとGLDプロセス間の Wasserstein 距離およびKLダイバージェンスのバインディングを適用する。
• 勾配および確率的勾配の有界性とリプシッツ連続性を活用し、SGLDとGLD軌道の差を制御する。

実験結果

リサーチクエスチョン

• RQ1 非凸的最適化において、無限次元RKHS上でのGLD/SGLDは次元に依存しない収束レートを達成可能か？
• RQ2 目的関数が正則化され非凸的である場合、RKHS上でのGLD/SGLDの非漸近的収束レートは何か？
• RQ3 無限次元空間における時間離散化ダイナミクスの幾何的エルゴドリシティは収束にどのように影響するか？
• RQ4 収束レートは逆温度βおよびカーネルスペクトルにどのように依存するか？
• RQ5 無限次元空間において、KLダイバージェンスおよび Wasserstein 距離の観点から、SGLDとGLDの差をどのようにバインディングできるか？

主な発見

• 本稿は、時間スケールにわたる一様で次元に依存しない非漸近的誤差バインディングを、RKHS上でのGLD/SGLDに対して導出する。
• 収束レートは次元に依存せず、βおよびカーネル作用素のスペクトル減衰に明示的に依存する。
• 時間離散化ダイナミクスの幾何的エルゴドリシティが証明され、これは無限次元設定では非自明である。
• 無限次元設定において、不変測度下での期待目的関数値は、グローバル最小値からO(1/β)の範囲内に収束する。
• SGLDとGLDの差は、KLダイバージェンスでO(βηk(ntr−nb)/(nb(ntr−1)))としてバインディングされ、適切なステップサイズおよびバッチサイズの選択下では小さくなる。
• 解析により、スペクトル正則化の下でも収束レートが安定することが示され、有限次元のバインディングにおける次元の役割がカーネル固有値に置き換えられる。