[論文レビュー] Regularizing RNNs by Stabilizing Activations

David Krueger, Roland Memisevic|arXiv (Cornell University)|Nov 26, 2015

Speech Recognition and Synthesis参考文献 12被引用数 30

ひとこと要約

本論文は、RNNにおける連続する隠れ状態ノルムの二乗差をペナルティ化する新しい正則化項であるノルム安定化器（norm-stabilizer）を導入し、訓練の安定性と一般化性能を向上させている。文字レベルの言語モデリングおよび発音子認識において顕著な性能向上を達成し、ビームサーチを用いない状態でTIMITで18.6%のPER（語誤り率）を達成するという最先端の結果を出した。また、活性化の爆発を防ぐことで、IRNNがはるかに長いシーケンスに一般化可能になることを可能にした。

ABSTRACT

We stabilize the activations of Recurrent Neural Networks (RNNs) by penalizing the squared distance between successive hidden states' norms. This penalty term is an effective regularizer for RNNs including LSTMs and IRNNs, improving performance on character-level language modeling and phoneme recognition, and outperforming weight noise and dropout. We achieve competitive performance (18.6\% PER) on the TIMIT phoneme recognition task for RNNs evaluated without beam search or an RNN transducer. With this penalty term, IRNN can achieve similar performance to LSTM on language modeling, although adding the penalty term to the LSTM results in superior performance. Our penalty term also prevents the exponential growth of IRNN's activations outside of their training horizon, allowing them to generalize to much longer sequences.

研究の動機と目的

• RNNにおける活性化の爆発または消失問題、特に学習時よりも長いシーケンスに一般化する際の問題を解決すること。
• 特にIRNNおよびLSTMにおいて、時間経過に伴う安定した隠れ状態ノルムを促進することで、RNNの一般化性能と安定性を向上させること。
• 勾配の方向や要素ごとのクリッピングに焦点を当てるのではなく、活性化ノルムの安定性に直接的に標的を定めた正則化項の開発。
• ノルム安定性が、多様なシーケンスモデリングタスクに広く効果を発揮する強力な誘導的バイアス（inductive bias）として機能するかを調査すること。

提案手法

• 隠れ状態のL2ノルムの時間的変化をペナルティ化する新しい正則化項、すなわち $\beta \frac{1}{T} \sum_{t=1}^{T} (\|h_t\|_2 - \|h_{t-1}\|_2)^2$ を提案。
• このノルム安定化器をIRNNおよびLSTMに適用し、メモリセルまたは隠れ状態のどちらを正則化対象とするかを別々にアブレーションスタディで評価。
• 学習率スケジューリングを用いた確率的勾配降下法を採用。NaNが発生した場合は再訓練を実行。
• 最適な性能を得るため、$\beta$、学習率、勾配クリッピングのハイパーパrameterについてグリッドサーチを実施。
• 正則化の影響を、活性化分布、フォーグットゲートの挙動、隠れ状態遷移行列の固有値スペクトルの観点から分析。
• 初期/最終ノルムや時間的整合性に関するノルムベースのペナルティ、重みノイズ、ドロップアウトといった代替正則化手法と比較。

実験結果

リサーチクエスチョン

• RQ1 隠れ状態のノルムを正則化することで、RNNの一般化性能が向上するか、特に学習時のシーケンス長を超える長さのシーケンスに対しても同様に有効か？
• RQ2 ドロップアウト、重みノイズ、勾配クリッピングといった既存の正則化手法に比べ、ノルム安定化器はRNNにおいて優れた性能を発揮するか？
• RQ3 なぜノルム安定化器はIRNNおよびLSTMでは性能向上をもたらすが、tanh-RNNでは効果を示さないのか？
• RQ4 ノルム安定化は、フォーグットゲートの分布および隠れ状態遷移行列の固有値にどのように影響を与えるか？
• RQ5 ノルム安定化されたIRNNは、正則化されていないIRNNよりもはるかに長いシーケンスに一般化できるか？

主な発見

• ノルム安定化器は、LSTMおよびIRNNの両方において、隠れ状態ノルムの平均および分散を顕著に低減させ、$\beta = 500$ のときが最も効果的であることが判明。
• ノルム安定化器を適用したIRNNは、10,000ステップにわたり安定した性能と活性化ノルムを維持するが、正則化されていないIRNNは学習期間内に指数関数的な活性化の増大を示す。
• TIMIT発音子認識タスクにおいて、ノルム安定化RNNは18.6%の語誤り率を達成し、ビームサーチやRNNトランダーサー構造を用いずに、最先端の性能を再現。
• ノルム安定化器はIRNNおよびLSTMの検証性能を向上させるが、tanh-RNNでは向上しない。これは、活性化不安定性に陥りやすいモデルに対して特に有効であることを示唆。
• 正則化されたIRNNは、固有値分布がより大きな絶対値にシフトしており、直交的遷移ではなく、安定した非直交的ダイナミクスを好む傾向が示された。
• ノルム安定化器は、隠れユニット全体における活性化分布をより集中させ、LSTMにおけるフォーグットゲート分布をより鋭くする。これは、選択的で安定した情報保持が実現されていることを示唆。