[論文レビュー] A Theoretically Grounded Application of Dropout in Recurrent Neural Networks

Yarin Gal, Zoubin Ghahramani|arXiv (Cornell University)|Dec 16, 2015

Topic Modeling参考文献 29被引用数 782

ひとこと要約

本論文は、ベイジアンニューラルネットワークにおける変分推論としてドロップアウトを解釈することにより、再帰的ニューラルネットワーク（RNN）向けの理論的裏付けのあるドロップアウト変種を提案する。入力、出力、再帰接続すべての時間ステップに同一のドロップアウトマスクを適用することで、訓練の安定化、過学習の低減、1つのモデルでペン・ツリー銀行言語モデリングタスクにおいて73.4という新たなSOTAのテストパープレキシティを達成する。

ABSTRACT

Recurrent neural networks (RNNs) stand at the forefront of many recent developments in deep learning. Yet a major difficulty with these models is their tendency to overfit, with dropout shown to fail when applied to recurrent layers. Recent results at the intersection of Bayesian modelling and deep learning offer a Bayesian interpretation of common deep learning techniques such as dropout. This grounding of dropout in approximate Bayesian inference suggests an extension of the theoretical results, offering insights into the use of dropout with RNN models. We apply this new variational inference based dropout technique in LSTM and GRU models, assessing it on language modelling and sentiment analysis tasks. The new approach outperforms existing techniques, and to the best of our knowledge improves on the single model state-of-the-art in language modelling with the Penn Treebank (73.4 test perplexity). This extends our arsenal of variational tools in deep learning.

研究の動機と目的

• 限られた訓練データにおけるRNNにおける過学習という長年の問題に対処すること。
• 長時間系列にわたって信号の増幅が生じるため、標準的なドロップアウトが再帰層で長年にわたり失敗する理由を解消すること。
• 変分推論とベイジアンディープラーニングの原則を用いて、RNNにおけるドロップアウトの理論的裏付けのある拡張を提供すること。
• 提案手法を言語モデリングおよびセンチメント分析タスクにおいて実証的に検証すること。
• 時間ステップ全体にわたって一貫したドロップアウトを適用することで、モデルのロバスト性と性能が向上することを示すこと。

提案手法

• ドロップアウトをベイジアンニューラルネットワークにおける重み分布の事後分布の変分近似と解釈する。
• 標準的なドロップアウトとは異なり、入力、出力、再帰接続のすべての時間ステップに同一のドロップアウトマスクを適用する。
• 重みの不確実性を有する確率的モデルとしてRNNを定式化し、変分推論による近似的なベイジアン推論を可能にする。
• 提案されたドロップアウト変種に対応する、取り扱い可能な変分下界（ELBO）を最適化することで、エンド・ツー・エンドの学習を可能にする。
• 入力層および出力層に加え、再帰重みに対してもドロップアウトを導入し、埋め込み層と再帰層のそれぞれに別々のドロップアウト確率を設定する。
• 推論時におけるモンテカルロドロップアウトを用いて不確実性推定と一般化性能の向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン変分推論に裏付けられたドロップアウトを、RNNの再帰層に成功裏に適用できるか？
• RQ2 標準的なドロップアウトがRNNで失敗する理由は何か？理論的裏付けのある変種がこの失敗を克服できるか？
• RQ3 入力、出力、再帰接続のすべての時間ステップに同一のドロップアウトマスクを適用することで、RNNの訓練が安定化し、過学習が低減するか？
• RQ4 埋め込み層と再帰層における異なるドロップアウト率が、モデルの性能と一般化にどのように影響するか？
• RQ5 この手法は、ペン・ツリー銀行のような標準的なNLPベンチマークでSOTA性能を達成できるか？

主な発見

• 時間ステップ全体にわたって一貫したドロップアウトを適用する提案された変分RNNは、1つのモデルでペン・ツリー銀行言語モデリングタスクにおいて73.4という新たなSOTAのテストパープレキシティを達成する。
• 本手法は、標準的なRNN、単純なドロップアウト変種、および早期停止法よりも、言語モデリングおよびセンチメント分析タスクの両方で優れた性能を示す。
• 過学習が顕著に低減され、変分LSTMは標準モデルとは異なり、安定した収束と最小のテスト誤差を示す。
• 再帰層のドロップアウト率が高い場合、埋め込みドロップアウトは過学習を防ぐために不可欠であり、正規化されていない埋め込み層がモデル挙動を支配するのを防ぐ。
• 重み減衰は本手法においても効果的で重要であり、標準的なドロップアウト設定ではしばしば削除されるのとは対照的である。
• 変分GRUモデルも、標準的および単純なドロップアウト変種と比較して、より高いロバスト性と低いテスト誤差を示し、本手法のRNNアーキテクチャへの一般化可能性を確認する。