[論文レビュー] High-Order Stochastic Gradient Thermostats for Bayesian Learning of Deep Models

Chunyuan Li, Changyou Chen+2 more|arXiv (Cornell University)|Dec 23, 2015

Gaussian Processes and Bayesian Inference参考文献 34被引用数 4

ひとこと要約

本稿では、ベイジアンディープラーニングにおける多次元確率的勾配リブロスティック（mSGNHT）のための高次対称分割積分法（SSI）を提案する。標準的なオイラー積分法に代えて使用することで、数値的精度とロバスト性が向上する。SSIに基づくmSGNHT-Sは、収束が速く、一般化性能が高く、特に勾配が不安定な状況下でも優れた性能を発揮する。

ABSTRACT

Learning in deep models using Bayesian methods has generated significant attention recently. This is largely because of the feasibility of modern Bayesian methods to yield scalable learning and inference, while maintaining a measure of uncertainty in the model parameters. Stochastic gradient MCMC algorithms (SG-MCMC) are a family of diffusion-based sampling methods for large-scale Bayesian learning. In SG-MCMC, multivariate stochastic gradient thermostats (mSGNHT) augment each parameter of interest, with a momentum and a thermostat variable to maintain stationary distributions as target posterior distributions. As the number of variables in a continuous-time diffusion increases, its numerical approximation error becomes a practical bottleneck, so better use of a numerical integrator is desirable. To this end, we propose use of an efficient symmetric splitting integrator in mSGNHT, instead of the traditional Euler integrator. We demonstrate that the proposed scheme is more accurate, robust, and converges faster. These properties are demonstrated to be desirable in Bayesian deep learning. Extensive experiments on two canonical models and their deep extensions demonstrate that the proposed scheme improves general Bayesian posterior sampling, particularly for deep models.

研究の動機と目的

• ディープベイジアンモデルにおける確率的勾配MCMC（SG-MCMC）の数値的不安定性と収束遅延を解消すること。
• 勾配の消失または爆発が生じるディープモデルにおいて、事後分布サンプリングの精度とロバスト性を向上させること。
• 高次数値積分を活用することで、mSGNHTの効率性とスケーラビリティを向上させること。
• 浅いモデルおよび深いモデルの両方において、対称分割積分法（SSI）がオイラー積分法を上回ることを示すこと。
• 大規模なベイジアンディープラーニングのためのより信頼性が高く、高速なサンプリングフレームワークを提供すること。

提案手法

• mSGNHTにおける1次オーダーのオイラー積分法を、2次オーダーの対称分割積分法（SSI）に置き換えることで、離散化誤差を低減する。
• mSGNHTの連続時間伊藤拡散形式にSSIを適用し、目的とする事後分布が定常分布として保存されることを保証する。
• ドリフト項と拡散項を分離する対称分割スキームを採用することで、数値的安定性と精度を向上させる。
• 各パラメータに対して別個のサーモスタット変数を備えた多次元サーモスタットシステムを導入し、適応性と収束性を向上させる。
• mSGNHTフレームワーク内にSSIを統合することで、詳細つり合いを維持し、正しい事後分布への収束を保証する。
• 深層ポisson要因分析における確率的単体上でのサンプリングのため、拡張された自然再パラメータ化を採用する。

実験結果

リサーチクエスチョン

• RQ1 高次数値積分法は、ベイジアンディープラーニングにおけるmSGNHTの精度と収束速度を向上させることができるか？
• RQ2 深層モデルにおいて、対称分割積分法（SSI）はステップサイズ選択に対してオイラー積分法と比べてどれほどロバストか？
• RQ3 mSGNHT-S（SSIに基づく）は、深層ニューラルネットワークやその他のモデルにおいて、mSGNHT-E（オイラーに基づく）と比較してより優れた事後分布サンプルと一般化性能を達成できるか？
• RQ4 mSGNHT-Sは、深層ベイジアンモデルにおける勾配の消失／爆発問題をどの程度軽減できるか？
• RQ5 Wikipediaのような大規模データセットにおいて、mSGNHT-Sは予測パープレキシティの観点で最先端の手法を上回ることができるか？

主な発見

• mSGNHT-Sは、深層ニューラルネットワークや深層ポアソン要因分析を含む、すべてのテスト対象モデルにおいてmSGNHT-Eよりも高速かつ高精度に収束する。
• 4層のフィードフォワードニューラルネットワークでは、ステップサイズ $ h = 10^{-4} $ においてmSGNHT-Eは収束に失敗するが、mSGNHT-Sは安定的かつ効果的に動作を続ける。
• ステップサイズ $ h = 5 \times 10^{-5} $ において、mSGNHT-SはmSGNHT-Eよりも顕著に高いテスト精度と低い負の対数尤度を達成する。
• Wikipediaデータセットにおいて、mSGNHT-SはmSGNHT-EおよびDPFA-SBNやNB-FTMといった最先端の手法を上回る低い予測パープレキシティを達成する。
• 図5の拡大図では、最終10,000ドキュメントにおいてmSGNHT-Sが他の手法を一貫して上回っていることが示され、収束が速いことが確認される。
• 本手法はステップサイズ選択に対してロバストであるため、勾配が不安定な深層アーキテクチャでも効果的な学習が可能である。