[論文レビュー] Bridging the Gap between Stochastic Gradient MCMC and Stochastic Optimization

Changyou Chen, David Carlson+3 more|arXiv (Cornell University)|Dec 25, 2015

Markov Chains and Monte Carlo Methods参考文献 34被引用数 49

ひとこと要約

本稿では、適応的プリコンディショニングと要素別モーメンタムを備えた確率的勾配MCMC手法を温度低下（アナールィング）することで導出された、新たな確率的最適化アルゴリズムSantaを提案する。温度を低下させることでベイジアンサンプリングから最適化へと移行することで、FNN、CNN、RNNのあらゆる分野で、テスト誤差と収束速度においてAdam、RMSprop、SGDの変種を上回る最先端の性能を達成する。

ABSTRACT

Stochastic gradient Markov chain Monte Carlo (SG-MCMC) methods are Bayesian analogs to popular stochastic optimization methods; however, this connection is not well studied. We explore this relationship by applying simulated annealing to an SGMCMC algorithm. Furthermore, we extend recent SG-MCMC methods with two key components: i) adaptive preconditioners (as in ADAgrad or RMSprop), and ii) adaptive element-wise momentum weights. The zero-temperature limit gives a novel stochastic optimization method with adaptive element-wise momentum weights, while conventional optimization methods only have a shared, static momentum weight. Under certain assumptions, our theoretical analysis suggests the proposed simulated annealing approach converges close to the global optima. Experiments on several deep neural network models show state-of-the-art results compared to related stochastic optimization algorithms.

研究の動機と目的

• 確率的勾配MCMC（SG-MCMC）と確率的最適化の間の理論的・実用的ギャップを埋めるために、両者のアルゴリズム的構造を統合すること。
• 従来の確率的最適化手法が単一で固定されたモーメンタムパラメータを使用するという制限を克服し、適応的かつ要素別モーメンタム重みを導入すること。
• 非凸なディープラーニング目的関数における最適化性能を向上させるために、温度低下させたSG-MCMCを用いてパラメータ空間の効率的探索を可能にすること。
• 非凸設定下での提案手法の理論的収束解析を提供し、グローバル最適解に近い解への収束を示唆すること。
• フィードフォワード、畳み込み、再帰的ネットワークを含む多様なディープニューラルネットワークアーキテクチャにおいて、提案手法の優位性を実験的に検証すること。

提案手法

• 確率的勾配サーモスタット（SGNHT）アルゴリズムにシミュレーテッドアニーリングを適用し、温度を徐々に低下させることでベイジアンサンプリングから最適化へと移行する。
• リーマン幾何学的情報幾何に基づく適応的プリコンディショナーを導入し、歴史的な分散に基づいて勾配を要素ごとにスケーリングする（RMSprop や Adam に類似）。
• モデルパラメータおよびモーメンタム変数の両方に対して、適応的かつ要素別のモーメンタム重みを組み込み、各パラメータごとの動的適応を可能にする。
• 温度依存のドリフト項と拡散項を持つ確率的微分方程式（SDE）としてアルゴリズムを定式化し、理論的解析を可能にする。
• 温度低下スケジュールを用いて、完全な探索（高温）から搧発（ゼロ温度）へとシステムを誘導し、最終的に新たな確率的最適化アルゴリズムに還元する。
• 温度低下させたマルコフ連鎖のバイアスと分散に基づく収束バウンズを導出し、グローバル最適解に近い解への収束を理論的根拠とともに示す。

実験結果

リサーチクエスチョン

• RQ1 シミュレーテッドアニーリングを用いることで、確率的勾配MCMC手法を体系的に効果的な確率的最適化アルゴリズムに変換できるか？
• RQ2 固定で共有されるモーメンタムと比較して、適応的かつ要素別モーメンタムおよびプリコンディショニングを用いることで最適化性能はどのように向上するか？
• RQ3 温度低下させたSG-MCMCフレームワークは、非凸なディープラーニング問題においてグローバル最適解に近い解へ収束するか？
• RQ4 提案手法は、アーキテクチャの変更なしに多様なディープニューラルネットワークアーキテクチャで最先端の性能を達成できるか？
• RQ5 バイアスと分散の観点から、温度低下させたマルコフ連鎖の理論的挙動は何か？ そして非凸設定における収束性とどのように関係するか？

主な発見

• 200-200全結合ネットワークを用いたMNISTでは、Santaは0.47%のテスト誤差を達成し、Adam（1.53%）、RMSprop（1.59%）、SGD（1.72%）を上回る。
• 標準的なCNNアーキテクチャにおいて、Santaは0.47%のテスト誤差を達成し、より複雑なモデルによる最先端の結果と同等またはそれを上回る。
• RNNを用いたPiano-midi.deデータセットでは、Santaは負の対数尤度7.60を達成し、Adam（8.00）やRMSprop（7.70）を上回る最高の結果を記録した。
• Santaはすべてのタスクでベースライン手法よりも高速に収束するが、初期の過学習が見られる。これは早期停止により効果的に是正された。
• 理論的解析から、ある仮定のもとでSantaは非凸設定下でグローバル最適解に近い解へ収束することが示唆された。
• Santaのゼロ温度極限では、適応的プリコンディショニングとパラメータ別モーメンタムを備えた、従来のSGD with momentumとは根本的に異なる新しい確率的最適化アルゴリズムが回復された。