[論文レビュー] On stochastic gradient Langevin dynamics with dependent data streams: the fully non-convex case

Ngọc Huy Châu, Éric Moulines+3 more|Edinburgh Research Explorer|May 30, 2019

Markov Chains and Monte Carlo Methods参考文献 33被引用数 26

ひとこと要約

本稿は、依存するデータストリームを伴う完全非凸設定において、Stochastic Gradient Langevin Dynamics (SGLD) の非漸近的収束保証を、$L^1$-Wasserstein 距離を用いて確立する。SGLD を補助的拡散過程と比較し、収縮推定を活用することで、ステップサイズの観点からより鋭く、一様な収束レートを達成し、従来の i.i.d. データおよび対数凸型の目的関数を超える結果を拡張する。

ABSTRACT

We consider the problem of sampling from a target distribution, which is \emph {not necessarily logconcave}, in the context of empirical risk minimization and stochastic optimization as presented in Raginsky et al. (2017). Non-asymptotic analysis results are established in the $L^1$-Wasserstein distance for the behaviour of Stochastic Gradient Langevin Dynamics (SGLD) algorithms. We allow the estimation of gradients to be performed even in the presence of \emph{dependent} data streams. Our convergence estimates are sharper and \emph{uniform} in the number of iterations, in contrast to those in previous studies.

研究の動機と目的

• 依存するデータストリームを伴う完全非凸ケースにおけるSGLDの非漸近的収束レートを提供すること。
• 従来の i.i.d. データおよび対数凸型の目的分布を超えて、収束保証を拡張すること。
• $L^2$-Wasserstein 界を改善するため、より鋭く一様な推定を得るために $L^1$-Wasserstein 距離を用いること。
• 対数凸性を要件としない、ポテンシャル関数 $U$ における発散性条件の下での収束を確立すること。

提案手法

• 著者たちは、過減衰ランジュバン SDE を模倣した連続時間の補助的拡散過程と、離散的 SGLD プロセスを比較する。
• 文献[18]の拡散過程の収縮推定を用いて、SGLD と目的分布との距離を評価する。
• 重み付き Pinsker 型不等式を介して、カップリングに基づくアプローチにより $L^1$-Wasserstein 距離と Kullback-Leibler 発散の関係を確立する。
• モーメントの制御と $V$-ノルムにおける可積分性を保証するため、可測関数 $V$ を用いる。
• 主な技術的ツールには、尤度比の計算に用いる Girsanov の定理と、SDE 解のモーメントの上限が含まれる。
• $U$ における発散性条件を仮定することで、依存するデータストリームからの勾配推定が可能となる。

実験結果

リサーチクエスチョン

• RQ1 依存するデータストリームと完全非凸ケースを伴う SGLD に対して、非漸近的収束レートを確立できるか？
• RQ2 $L^1$-Wasserstein 距離を用いることで、従来の $L^2$-Wasserstein 評価よりも鋭い収束界が得られるか？
• RQ3 拡散過程の収縮技術を、一般の発散性条件の下での離散的 SGLD アルゴリズムに適応できるか？
• RQ4 対数凸性が欠如する状況下で、収束レートはステップサイズおよび反復回数に対してどのようにスケーリングされるか？
• RQ5 $V$-ノルムとカップリングの役割は、非対数凸型の目的関数に対する Wasserstein 距離の界を抑えるために果たすか？

主な発見

• 本稿は、発散性条件の下で、依存するデータストリームを伴う SGLD について、$L^1$-Wasserstein 距離における非漸近的収束を確立する。
• 収束レートは、従来の $L^2$-Wasserstein 界と比較して鋭く、反復回数に依存しない一様性を有する。
• $L^1$-Wasserstein 距離は、法則の Kullback-Leibler 発散と関係づける重み付き Pinsker 不等式を用いて界を定める。
• 解析により、収束レートがステップサイズおよび $\nabla U$ のリプシッツ定数に明示的な依存関係を示すことが判明し、カップリングと Girsanov の定理を用いて導出される。
• 反復回数にわたる一様な境界が達成されており、一部の先行研究で見られた劣化を回避する。
• 結果として、SGLD の適用範囲が i.i.d. および非対数凸型の設定へと拡張され、ビッグデータおよびオンライン学習における最適化のためのより強い理論的保証が得られる。