[論文レビュー] Revisiting Activation Regularization for Language RNNs

Stephen Merity, Bryan McCann+1 more|arXiv (Cornell University)|Aug 3, 2017

Topic Modeling参考文献 20被引用数 42

ひとこと要約

この論文は、RNNの活性化関数に対するシンプルな$L_2$正則化（活性化正則化、AR）と時間的整合性正則化（TAR）を再検討し、言語モデルの性能向上を図る。最小限のアーキテクチャ変更で実装されたARとTARは、Penn TreebankおよびWikiText-2で最先端の結果を達成し、変分ドロップアウトやカスタムRNNセルといった複雑な手法を上回りながら、cuDNN LSTMのような最適化された実装とも互換性を持つ。

ABSTRACT

Recurrent neural networks (RNNs) serve as a fundamental building block for many sequence tasks across natural language processing. Recent research has focused on recurrent dropout techniques or custom RNN cells in order to improve performance. Both of these can require substantial modifications to the machine learning model or to the underlying RNN configurations. We revisit traditional regularization techniques, specifically L2 regularization on RNN activations and slowness regularization over successive hidden states, to improve the performance of RNNs on the task of language modeling. Both of these techniques require minimal modification to existing RNN architectures and result in performance improvements comparable or superior to more complicated regularization techniques or custom cell architectures. These regularization techniques can be used without any modification on optimized LSTM implementations such as the NVIDIA cuDNN LSTM.

研究の動機と目的

• 従来の軽量な正則化手法、たとえば活性化関数への$L_2$正則化と時間的整合性正則化が、RNN言語モデルにおける複雑な最新の正則化手法を上回る可能性があるかを調査すること。
• ARおよびTARがRNNセルのアーキテクチャや学習プロトコルの変更なしに適用可能であるかを評価し、cuDNNのような最適化されたライブラリとの互換性を確保できることを示すこと。
• ARおよびTARがLSTM、GRU、$ anh$ RNNといった異なるRNNアーキテクチャにわたって一般化され、強固であることを示すこと。
• ARおよびTARが、Penn TreebankやWikiText-2といった標準的なベンチマークで、異なるセルタイプでチューニングされたハイパーパrameterを用いても顕著な性能向上をもたらすことを示すこと。

提案手法

• 活性化正則化（AR）は、ドロップアウトマスク$m$をかけたRNN出力$m \odot h_t$に$L_2$ペナルティを適用し、小さな安定した活性化を促進する。
• 時間的活性化正則化（TAR）は、連続する隠れ状態間の差分$\|h_t - h_{t+1}\|_2$に$L_2$ペナルティを適用し、時間的滑らかさを促進する。
• 正則化係数$\alpha$および$\beta$は検証セットの性能に基づきチューニングされ、アブレーションのための異なるRNNセルタイプ間で値を移行する。
• 実験では、エンベッディングの共有を含む標準的な言語モデルベンチマーク（PTB、WT2）と標準的な学習プロトコルを用い、AR/TARを適用したモデルとそうでないモデルを比較する。
• 一般化性と強度をテストするために、標準LSTMに加え、GRUや$ anh$ RNNといった代替RNNにも適用する。
• cuDNN LSTMのような最適化されたRNNライブラリとの互換性が保たれる。ARおよびTARはRNNセルや学習ループの変更を必要としない。

実験結果

リサーチクエスチョン

• RQ1 RNNの活性化関数に対するシンプルな$L_2$正則化（AR）と時間的整合性（TAR）は、変分ドロップアウトやカスタムRNNセルといった複雑な正則化手法と同等またはそれ以上の性能を達成できるか？
• RQ2 ARおよびTARは、カスタムセルの変更を許可しない最適化されたRNN実装（例：cuDNN LSTM）に対しても有効に機能するか？
• RQ3 GRUや$ anh$ RNNといった伝統的に言語モデルに使われないRNNアーキテクチャに対しても、ARおよびTARは一般化可能か？
• RQ4 LSTMなどの1つのRNNセルに最適化されたハイパーパrameter$\alpha$および$\beta$を、他のセル（例：GRU、$ anh$ RNN）に再利用可能か？再チューニングなしで有効であるか？
• RQ5 TARは、ランダム初期化から学習を開始する場合に、特に恒等写像に近い挙動をRNNに暗黙的に促進するか？

主な発見

• Penn Treebankデータセットでは、ARおよびTARによりテストパープレクシティが667.5から227.8に低下し、ベースラインLSTM比で66%の相対的改善が達成された。
• WikiText-2では、同じ正則化によりテストパープレクシティが117.5から103.4に改善され、より困難な出域外のベンチマークでも一貫した向上が確認された。
• GRUでは、LSTMから得た同じ$\alpha=5$、$\beta=2$の値を適用することで、パープレクシティが83.3から81.1に低下し、異なるRNNアーキテクチャへの適用可能性と有効性が示された。
• $\tanh$ RNNでは、ARおよびTARなしでは学習が失敗したが、正則化を適用することで収束が可能になった。これはTARが暗黙のうちに恒等写像に近い初期化制約を課している可能性を示唆している。
• ARおよびTARによる向上は、さまざまなRNNタイプにわたって安定しており、LSTMに限定されず、他の系列モデルに対しても一般化可能であることが示された。
• ARおよびTARは、アーキテクチャの変更なしにcuDNN LSTMのような最適化されたRNNライブラリに対しても適用可能であり、学習速度と互換性が保たれている。