[論文レビュー] Scalable Bayesian Learning of Recurrent Neural Networks for Language Modeling

Zhe Gan, Chunyuan Li+4 more|arXiv (Cornell University)|Nov 23, 2016

Topic Modeling参考文献 65被引用数 7

ひとこと要約

この論文は、勾配ノイズを訓練中に注入することでモデルパラメータ空間を探索し、テスト時に複数のサンプルの予測を平均化する、確率的勾配マルコフ連鎖モンテカルロ（SG-MCMC）を用いた、再帰的ニューラルネットワーク（RNNs）のスケーラブルなベイジアン学習フレームワークを提案する。この手法は一般化性能と不確実性推定を向上させ、言語モデリング、画像キャプション、文類似分類のタスクにおいて、最小限の計算コスト増で標準的な確率的最適化を上回る。

ABSTRACT

Recurrent neural networks (RNNs) have shown promising performance for language modeling. However, traditional training of RNNs using back-propagation through time often suffers from overfitting. One reason for this is that stochastic optimization (used for large training sets) does not provide good estimates of model uncertainty. This paper leverages recent advances in stochastic gradient Markov Chain Monte Carlo (also appropriate for large training sets) to learn weight uncertainty in RNNs. It yields a principled Bayesian learning algorithm, adding gradient noise during training (enhancing exploration of the model-parameter space) and model averaging when testing. Extensive experiments on various RNN models and across a broad range of applications demonstrate the superiority of the proposed approach over stochastic optimization.

研究の動機と目的

• 確率的最適化による重みの点推定が原因で生じるRNN言語モデルの過学習を是正すること。
• 大規模な順序データセットに適したスケーラブルな方法で、RNNにモデル不確実性を組み込むこと。
• 従来、順伝播ネットワークに用いられていたSG-MCMCを、再帰的アーキテクチャに拡張し、整合的なベイジアン学習を実現すること。
• 言語モデリング、画像キャプション、文類似分類などのNLPタスクにおける一般化性能とロバスト性を向上させること。
• SG-MCMCサンプルの重み平均化が、標準的なSGDやRMSPropよりも優れた性能を示すことを実証すること。

提案手法

• 勾配ノイズを注入することでパラメータ空間の探索を促進する、確率的勾配ランジュビンダイナミクス（SGLD）を用いてRNNにおけるベイジアン学習を実行する。
• SGLDによる事後分布の近似を採用し、アンサンブル内の各ネットワークをノイズを含む勾配で訓練することで、重みの不確実性のサンプルベース推定を可能にする。
• テスト時に複数のSGLDサンプルのモデル平均化を適用し、予測のロバスト性を向上させ、過学習を軽減する。
• ミニバッチ勾配を用いることで計算効率を維持し、NLPに見られるような大規模な訓練データセットに対してもスケーラブルである。
• 比較のためのベースラインとしてドロップアウトを用いるが、SG-MCMCが再帰的接続を含むすべての重みに対してより広範な不確実性モデリングを提供することを示す。
• 推論コストを低減するため、知識蒸留技術を用い、アンサンブル出力を単一のネットワークで近似する。

実験結果

リサーチクエスチョン

• RQ1 大規模な順序データセットに対してスケーラブルであることを保ちながら、SG-MCMCをRNNの学習に効果的に適用できるか。
• RQ2 訓練中に勾配ノイズを注入することで、標準的な確率的最適化と比較して、RNNの一般化性能と不確実性推定が向上するか。
• RQ3 SGLDサンプルのモデル平均化は、点推定やドロップアウトと比較して、NLPタスク全体におけるテスト性能で優れているか。
• RQ4 提案されたベイジアンRNNフレームワークは、言語モデリング、画像キャプション、文類似分類といった多様なNLPタスクを処理できるか。
• RQ5 重みの不確実性は、曖昧または難しい例における予測の信頼性にどのような影響を及ぼすか。

主な発見

• 提案されたpSGLD + モデル平均化手法は、PTBデータセットにおける文字レベルおよび語彙レベルの言語モデリングを含め、評価されたすべてのタスクでRMSPropやSGDを一貫して上回った。
• TREC文類似分類データセットでは、ドロップアウトを用いたpSGLDが最低のテスト誤差率を達成し、一般化性能とロバスト性の向上を示した。
• 画像キャプションタスクでは、多様で文脈的に適切なキャプションが生成され、不確実性を考慮したサンプリングにより、例えば犬の色や行動に関する意味のある変化が得られた（例：dog color and activity）。
• t-SNE可視化では、予測不確実性が高い曖昧なテスト文がクラス境界付近に位置しており、誤ったクラスに対して高い標準偏差が割り当てられていた。これは、信頼性のある不確実性評価が行われていることを示している。
• アブレーションスタディでは、勾配ノイズとモデル平均化の両方が不可欠であることが確認された。両方を併用しないと、完全な手法と同等の性能向上は得られなかった。
• 訓練時間のオーバーヘッドは最小限であり、知識蒸留により推論コストも管理可能であり、実世界の展開に実用的である。