[論文レビュー] The True Cost of Stochastic Gradient Langevin Dynamics

Tigran Nagapetyan, A. Duncan+4 more|arXiv (Cornell University)|Jun 8, 2017

Markov Chains and Monte Carlo Methods参考文献 8被引用数 32

ひとこと要約

本稿は、拡大するデータセットにおける強い対数凸モデルにおける確率的勾配ランジュバンダイナミクス（SGLD）の計算コストを分析し、特定の精度を満たすために部分サンプリングが計算コストのスケーリングを改善しないことを示している。確率的勾配を使用しても、SGLDの平均二乗誤差（MSE）は、フル勾配のオイラー離散化と同様にスケーリングされる。計算コストを顕著に低減するには制御変数アプローチが必要であり、SGLDがビッグデータ環境で計算上の利点を提供すると仮定することは、挑戦的である。

ABSTRACT

The problem of posterior inference is central to Bayesian statistics and a wealth of Markov Chain Monte Carlo (MCMC) methods have been proposed to obtain asymptotically correct samples from the posterior. As datasets in applications grow larger and larger, scalability has emerged as a central problem for MCMC methods. Stochastic Gradient Langevin Dynamics (SGLD) and related stochastic gradient Markov Chain Monte Carlo methods offer scalability by using stochastic gradients in each step of the simulated dynamics. While these methods are asymptotically unbiased if the stepsizes are reduced in an appropriate fashion, in practice constant stepsizes are used. This introduces a bias that is often ignored. In this paper we study the mean squared error of Lipschitz functionals in strongly log- concave models with i.i.d. data of growing data set size and show that, given a batchsize, to control the bias of SGLD the stepsize has to be chosen so small that the computational cost of reaching a target accuracy is roughly the same for all batchsizes. Using a control variate approach, the cost can be reduced dramatically. The analysis is performed by considering the algorithms as noisy discretisations of the Langevin SDE which correspond to the Euler method if the full data set is used. An important observation is that the 1scale of the step size is determined by the stability criterion if the accuracy is required for consistent credible intervals. Experimental results confirm our theoretical findings.

研究の動機と目的

• 大規模データセットにおけるSGLDの平均二乗誤差（MSE）精度に関して、計算コストを定量化すること。
• SGLDのような確率的勾配法が、ビッグデータの極限において、フル勾配MCMCに比べて本質的な計算上の利点を提供するかどうかを調査すること。
• 定常ステップサイズと部分サンプリングが、強い対数凸後退確率モデルにおけるバイアスとMSEに与える影響を検討すること。
• SGLDの実証的成功が、正確な後退確率分布のサンプリングに起因するのか、それとも確率的勾配降下法に類似した平均化効果に起因するのかを評価すること。
• 制御変数が、精度を維持しながら計算コストを低減する役割を果たすかを検討すること。

提案手法

• SGLDをランジュバンスデのノイズありオイラー離散化として分析し、フル勾配オイラー法と比較する。
• i.i.d. データを伴う強い対数凸モデルにおけるリプシッツ関数へのMSEの理論的バウンディングを導出する。
• ガウスの玩具モデルを用いて、データサイズN、バッチサイズ、ステップサイズに対するMSEのスケーリングを解析的に研究する。
• SGLD推定器における分散と計算コストを低減するために、制御変数技術を適用する。
• ガウスモデルおよびロジスティック回帰における数値実験を通じて、理論的発見の妥当性を検証する。
• 固定計算コスト下で、SGLDをフル勾配MCMCおよび確率的勾配HMCと比較する。

実験結果

リサーチクエスチョン

• RQ1 固定された目標MSE精度を満たすために、SGLDにおける部分サンプリングがデータサイズNに伴う計算コストのスケーリングを改善するか？
• RQ2 定常バッチサイズを使用する場合、SGLDにおけるバイアスを制御するために必要なステップサイズはどの程度か？ そして、これは計算コストにどのように影響するか？
• RQ3 大N極限において、SGLDのMSEはフル勾配オイラー離散化と比べてどの程度か？
• RQ4 制御変数は、目標精度を維持したままSGLDの計算コストを顕著に低減できるか？
• RQ5 機械学習におけるSGLDの強力な実証的性能は、正確な後退確率分布のサンプリングに起因するのか、それとも確率的勾配降下法に類似した平均化効果に起因するのか？

主な発見

• 固定バッチサイズの場合、SGLDにおけるバイアスを制御するためのステップサイズはO(N⁻²)に比例する。これは、計算コストがフル勾配法と同等であることを意味する。
• 部分サンプリングは、データサイズNに伴う計算コストのスケーリングを改善しない。SGLDは、MSEスケーリングの観点から、フル勾配オイラー離散化に比べて漸近的利点を有さない。
• 数値実験により、固定計算コスト（同一のバッチサイズとステップサイズ）下で、異なるデータサイズにおいてもRMSEが一定に保たれることが確認された。
• 制御変数アプローチは計算コストを顕著に低減する。これは、SGLDの実用的効率性を高めるために不可欠であることを示唆している。
• SGLDの性能は、正確な後退確率分布のサンプリングよりも、確率的勾配降下法に類似した平均化効果に起因している可能性が強い。
• 結果から、ビッグデータ環境下では、SGLDの計算コストがバイアスを制御するための非常に小さなステップサイズの必要性に支配されており、スケーラビリティ上の利点が制限されることが示唆される。