[論文レビュー] Noisin: Unbiased Regularization for Recurrent Neural Networks

Adji Bousso Dieng, Rajesh Ranganath+2 more|arXiv (Cornell University)|May 3, 2018

Neural Networks and Applications参考文献 40被引用数 14

ひとこと要約

Noisinは、再帰的ニューラルネットワーク（RNN）のための新しい偏りのない正則化法を提案する。この手法は、隠れ状態にランダムなノイズを注入し、データの周辺尤度を最大化する。ノイズを注入した遷移関数が平均的に偏りがないように保つことで、明示的な正則化が得られ、一般化性能が向上し、Penn TreebankとWikitext-2ではそれぞれdropoutに対して最大12.2%および9.4%の相対的改善を達成する。

ABSTRACT

Recurrent neural networks (RNNs) are powerful models of sequential data. They have been successfully used in domains such as text and speech. However, RNNs are susceptible to overfitting; regularization is important. In this paper we develop Noisin, a new method for regularizing RNNs. Noisin injects random noise into the hidden states of the RNN and then maximizes the corresponding marginal likelihood of the data. We show how Noisin applies to any RNN and we study many different types of noise. Noisin is unbiased--it preserves the underlying RNN on average. We characterize how Noisin regularizes its RNN both theoretically and empirically. On language modeling benchmarks, Noisin improves over dropout by as much as 12.2% on the Penn Treebank and 9.4% on the Wikitext-2 dataset. We also compared the state-of-the-art language model of Yang et al. 2017, both with and without Noisin. On the Penn Treebank, the method with Noisin more quickly reaches state-of-the-art performance.

研究の動機と目的

• 系列データにおいて非常に柔軟で過学習を起こしやすい再帰的ニューラルネットワーク（RNN）の過学習を緩和すること。
• 元のRNN構造を損なわず、一般化性能を向上させる正則化手法を開発すること。
• 偏りのない、明確に定義された正則化ペナルティをもたらすノイズ注入メカニズムを形式化すること。
• Noisinの有効性を、標準的な言語モデルベンチマークで複数のRNNアーキテクチャとノイズタイプに対して示すこと。

提案手法

• 学習中にRNNの隠れ状態にランダムなノイズを注入し、決定的遷移関数を確率的関数に変換する。
• ノイズを注入したRNNにおける観測データの周辺尤度を最大化することで、遷移関数の局所的近傍を平均化する。
• 強い偏りのない条件を課し、ノイズを注入した遷移関数の期待値が元の決定的関数と等しくなるように保証する。
• ノイズの分散関数として正則化項を導出し、摂動に対して感受性の高い成分をペナルティ化し、ロバスト性を促進する。
• 任意のRNNバリアント（例：LSTM、GRU）に適用可能で、ガウス分布やベルヌーイ分布を含む多様なノイズ分布をサポートする。
• 対数正規化子の2階テイラー展開を用いて、正則化項を対数正規化子のヘッセ行列とノイズを注入した隠れ状態の共分散の関数として表現する。

実験結果

リサーチクエスチョン

• RQ1 RNNの隠れ状態へのノイズ注入は、一般化性能を向上させる原理的かつ効果的な正則化法を提供できるか？
• RQ2 偏りのない条件が、正則化されたRNNの理論的性質と実験的性能に与える影響は何か？
• RQ3 ノイズ注入によって誘発される暗黙の正則化ペナルティの形は何か？そして、モデルのロバスト性とどのように関係するか？
• RQ4 言語モデルタスクにおける性能面で、Noisinはドロップアウトや重み減衰といった既存の正則化手法と比べてどうなるか？
• RQ5 Noisinは、言語モデルで最先端の性能に到達するまでの収束を加速するか？

主な発見

• Penn Treebankでは、標準LSTMに対して最大37.3%の相対的改善、ドロップアウト-LSTMに対して最大12.2%の相対的改善を達成する。
• Wikitext-2データセットでは、標準LSTMに対して最大39.0%の相対的改善、ドロップアウト-LSTMに対して最大9.4%の相対的改善を達成する。
• Noisinを用いた手法は、Yangら（2017）のベースラインモデルよりも、Penn Treebankで最先端の性能により迅速に到達する。
• 理論的分析により、Noisinの正則化項が非負であり、ノイズの分散と対数正規化子のヘッセ行列に基づくペナルティに一致することが示された。
• 実験的結果により、Noisinが損失のランドスケープを滑らかにし、過学習を防ぐことが確認された。トレーニングとバリデーションの perplexity 両方で一貫した改善が観察された。
• 偏りのない条件により、ノイズを注入したRNNの期待的な挙動が元の決定的RNNと一致し、モデルの整合性を保ちつつロバスト性が向上する。