[論文レビュー] A Convergence Analysis for A Class of Practical Variance-Reduction Stochastic Gradient MCMC

Changyou Chen, Wenlin Wang+3 more|arXiv (Cornell University)|Sep 4, 2017

Markov Chains and Monte Carlo Methods参考文献 35被引用数 7

ひとこと要約

本稿では、確率的勾配ノイズを低減することでベイジアン学習における収束速度を向上させる分散低減型確率的勾配MCMC（vrSG-MCMC）手法を提案する。計算的に効率的な分散低減スキームを用いることで、特に計算リソースが限られた環境下でも、標準的なSG-MCMCに比べて平均二乗誤差の減少が著しく速くなる。実験的にロジスティック回帰、深層ニューラルネットワーク、系列モデルの多様な設定で妥当性を検証した。

ABSTRACT

Stochastic gradient Markov Chain Monte Carlo (SG-MCMC) has been developed as a flexible family of scalable Bayesian sampling algorithms. However, there has been little theoretical analysis of the impact of minibatch size to the algorithm's convergence rate. In this paper, we prove that under a limited computational budget/time, a larger minibatch size leads to a faster decrease of the mean squared error bound (thus the fastest one corresponds to using full gradients), which motivates the necessity of variance reduction in SG-MCMC. Consequently, by borrowing ideas from stochastic optimization, we propose a practical variance-reduction technique for SG-MCMC, that is efficient in both computation and storage. We develop theory to prove that our algorithm induces a faster convergence rate than standard SG-MCMC. A number of large-scale experiments, ranging from Bayesian learning of logistic regression to deep neural networks, validate the theory and demonstrate the superiority of the proposed variance-reduction SG-MCMC framework.

研究の動機と目的

• ミニバッチサイズが標準的なSG-MCMCアルゴリズムの収束速度に与える影響を理論的に分析すること。
• SG-MCMCにおける確率的勾配ノイズの理論的理解の不足に起因する収束への影響を解消すること。
• 計算と記憶の両面で効率的なSG-MCMC向けの実用的分散低減技術を開発すること。
• 提案手法vrSG-MCMCが標準SG-MCMCに比べてより速い収束速度を達成することを理論的に保証すること。
• vrSG-MCMCが多様なモデルとデータセットにおいて標準SG-MCMCを上回ることを実証的に検証すること。

提案手法

• 本手法は、周期的に更新されるフル勾配推定値を用いて、確率的勾配のノイズを低減する分散低減スキームを導入する。
• 古い勾配 $ \tilde{g} $ を計算するためにサイズ $ n_1 $ のミニバッチを用い、計算コストと分散低減のバランスを取る。
• フル勾配の不偏推定器を維持することで、標準SG-MCMCと同等のバイアスバウンドを保つ。
• 理論的分析により、vrSG-MCMCが標準SG-MCMCに比べて収束速度が速いことが示された。特に計算リソースが限られた環境下で顕著である。
• SGLDを含むさまざまなSG-MCMCの変種に適用可能であり、勾配更新ルールを変更することで分散低減勾配推定値を統合する。
• ステップサイズの徐々に減少するスケジュールと勾配クリッピングを導入し、深層モデルにおける安定した学習を実現した。

実験結果

リサーチクエスチョン

• RQ1 計算リソースが限られた環境下で、ミニバッチサイズは標準SG-MCMCの平均二乗誤差（MSE）収束速度にどのように影響するか？
• RQ2 SG-MCMCにおける分散低減は、標準SG-MCMCに比べて証明可能な速い収束速度を達成できるか？
• RQ3 特に勾配推定のためのミニバッチサイズという観点から、計算コストと分散低減の最適なトレードオフは何か？
• RQ4 提案されたvrSG-MCMCは、MLP、CNN、RNNを含む多様なモデルアーキテクチャにおいて、ベイジアン学習タスクでどのように実証的に性能を発揮するか？
• RQ5 分散低減スキームは、標準SG-MCMCと比較して滑らかな学習曲線と、低いテスト誤差または損失を達成できるか？

主な発見

• 計算リソースが限られた環境下では、SG-MCMCの最適なMSEバウンドはフル勾配を使用した場合に達成され、初期段階での確率的勾配ノイズが収束を遅くすることが示された。
• 大規模な計算リソースを有する環境では、長期的にはサイズ1のミニバッチが望ましいことが示唆され、後期段階ではノイズが有益である可能性がある。
• MNISTおよびCIFAR-10データセットにおいて、vrSG-MCMCは標準SGLDに比べて著しく速い収束を示し、少ないデータパスで低いテスト誤差と損失を達成した。
• PTBおよびWikiText-2データセットでは、vrSG-MCMCはSGLDに比べてより速く収束し、パープレキシティの観点から滑らかな学習曲線を示した。
• $ n_1 $ の選択に強く依存せず、$ n_1 = 200 $ の場合でもフルバッチ勾配に近い性能を発揮したため、良好な性能を得るには大きなミニバッチは必須でないことが示された。
• 特にResNetのような深層モデルでは、vrSG-MCMCの学習曲線はSGLDに比べて著しくノイズが少なく、勾配の分散低減による恩恵が顕著に現れた。