[論文レビュー] Vprop: Variational Inference using RMSprop

Mohammad Emtiyaz Khan, Zuozhu Liu+2 more|arXiv (Cornell University)|Dec 4, 2017

Gaussian Processes and Bayesian Inference参考文献 11被引用数 15

ひとこと要約

Vpropは、標準的なRMSprop最適化手法にわずか2つの修正を加えることで、ガウス型変分推論を可能にする新規な変分推論手法であり、ブラックボックスVIと比較してメモリ使用量を半分に削減する。性能は正確な自然勾配法と同等であり、ニュートン法、自然勾配、拡張カルマンフィルタと理論的に関連している。

ABSTRACT

Many computationally-efficient methods for Bayesian deep learning rely on continuous optimization algorithms, but the implementation of these methods requires significant changes to existing code-bases. In this paper, we propose Vprop, a method for Gaussian variational inference that can be implemented with two minor changes to the off-the-shelf RMSprop optimizer. Vprop also reduces the memory requirements of Black-Box Variational Inference by half. We derive Vprop using the conjugate-computation variational inference method, and establish its connections to Newton's method, natural-gradient methods, and extended Kalman filters. Overall, this paper presents Vprop as a principled, computationally-efficient, and easy-to-implement method for Bayesian deep learning.

研究の動機と目的

• 既存の最適化フレームワークを活用して、ディープラーニングにおけるガウス型変分推論の実装を簡素化すること。
• ブラックボックス変分推論（BBVI）が、平均と分散の最適化を別々に行うため、通常はパラメータ数を2倍に増加させるメモリオーバーヘッドを低減すること。
• 変分推論とRMSprop、ニュートン法、自然勾配降下法といった現代の最適化手法との原理的関係を確立すること。
• 標準的なニューラルネットワークコードベースを最小限の変更で使用できる「即挿し」型のベイジアンディープラーニングを可能にすること。
• 計算的に効率的で理論的にも根拠のある手法を開発し、拡張カルマンフィルタのような確立された推論手法と関連づけること。

提案手法

• Vpropは、市販のRMSprop最適化手法を変更し、2つの主要な変更を加える：パラメータ更新を変分下界（ELBO）最適化に置き換え、変分分布の全構造を考慮した勾配計算に調整する。
• 共役計算変分推論（CVI）フレームワークを用いて、ガウス＝ニュートン近似下で自然勾配更新と同等の更新を導出する。
• ステラティスティック勾配を、変分分布からのモンテカルロサンプリングを用いて計算し、不偏推定を保証する。
• VpropはRMSpropの適応的学習率メカニズムを維持するが、それを変分パラメータ（平均と対数分散）に適用することで、効率的で安定した最適化を実現する。
• アルゴリズムはRMSpropのメモリ効率性を引き継ぎ、全共分散行列の別個の2次統計量を保存する必要がないため、BBVIのメモリコストを半分に削減する。
• 特定の仮定の下で、Vpropの更新方向が自然勾配を近似することを示すことにより、ニュートン法、自然勾配降下法、拡張カルマンフィルタと理論的関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 RMSpropのような既存の最適化コードベースに最小限の変更を加えることで、変分推論を実装できるか？
• RQ2 RMSpropに基づく手法が、正確な自然勾配法やガウス＝ニュートンに基づく変分推論と同等の性能を達成できるか？
• RQ3 提案手法が、標準的なBBVIと比較してメモリ使用量を削減しながらも、精度を維持できるか？
• RQ4 Vpropとニュートン法、自然勾配といった確立された最適化手法との理論的関係は何か？
• RQ5 モンテカルロサンプリングによる勾配推定により、Vpropは小データ環境で過学習を回避できるか？

主な発見

• Vpropは、正確なヘシアン計算ではなくガウス＝ニュートン近似のみを用いるにもかかわらず、ロジスティック回帰およびMLPにおいて、最先端の自然勾配法であるCVIと同等のELBO最適化性能を達成する。
• オーストラリアスケールおよびa1aデータセットにおいて、Vprop-2（2サンプルのモンテカルロサンプリングを使用）は、定常ステップサイズを用いたBBVIと同等またはそれ以上の速度で収束する。
• ELBO最適化なしにRMSpropを単独で使用した場合、小規模データセットでは良好に動作するが、過学習を引き起こす。これは、一般化の観点からELBO最適化が不可欠であることを示している。
• モンテカルロサンプリングを用いないVprop-0はRMSpropよりもわずかに優れているが、依然として過学習を示す。これは、サンプリングが安定したベイジアン一般化に不可欠であることを示唆している。
• Vprop-2とCVIは両方ともMLPの実験で過学習を回避するが、RMSpropとVprop-0は回避しない。これは、サンプリングによる不偏勾配推定が、信頼性のある不確実性評価に不可欠であることを示している。
• Vpropは、全共分散行列の別個の2次統計量を保存する必要がないため、BBVIと比較してメモリ使用量を半分に削減する。