[論文レビュー] Regularization and nonlinearities for neural language models: when are they needed?

Marius Pachitariu, Maneesh Sahani|arXiv (Cornell University)|Jan 23, 2013

Topic Modeling参考文献 15被引用数 32

ひとこと要約

本論文は、非対角再帰接続を一切持たない簡素化された線形RNNの一種であるインパulse応答言語モデル（IRLM）を紹介する。正則化手法（ランダムドロップアウトやカラム正規化など）を用いることで、Penn Treebankで最先端の性能（102.5 perplexity）を達成した。能力は低いものの、IRLMは長期間の文脈理解タスクにおいて非線形RNNを上回り、アクセス可能な長期間文脈ユニット（LCUs）を学習することで、MRSCベンチマークで60.8%の精度を達成した。これは先行モデルを上回り、モデルの解釈可能性と長距離依存関係の捉え込みが、構造の単純化と的を射ねた正則化によって向上しうることを示している。

ABSTRACT

Neural language models (LMs) based on recurrent neural networks (RNN) are some of the most successful word and character-level LMs. Why do they work so well, in particular better than linear neural LMs? Possible explanations are that RNNs have an implicitly better regularization or that RNNs have a higher capacity for storing patterns due to their nonlinearities or both. Here we argue for the first explanation in the limit of little training data and the second explanation for large amounts of text data. We show state-of-the-art performance on the popular and small Penn dataset when RNN LMs are regularized with random dropout. Nonetheless, we show even better performance from a simplified, much less expressive linear RNN model without off-diagonal entries in the recurrent matrix. We call this model an impulse-response LM (IRLM). Using random dropout, column normalization and annealed learning rates, IRLMs develop neurons that keep a memory of up to 50 words in the past and achieve a perplexity of 102.5 on the Penn dataset. On two large datasets however, the same regularization methods are unsuccessful for both models and the RNN's expressivity allows it to overtake the IRLM by 10 and 20 percent perplexity, respectively. Despite the perplexity gap, IRLMs still outperform RNNs on the Microsoft Research Sentence Completion (MRSC) task. We develop a slightly modified IRLM that separates long-context units (LCUs) from short-context units and show that the LCUs alone achieve a state-of-the-art performance on the MRSC task of 60.8%. Our analysis indicates that a fruitful direction of research for neural LMs lies in developing more accessible internal representations, and suggests an optimization regime of very high momentum terms for effectively training such models.

研究の動機と目的

• 非線形性と正則化のどちらがニューラル言語モデルの性能向上に主たる要因であるかを調査すること。
• 適切に正則化された場合、より単純な線形RNNアーキテクチャが非線形RNNを模倣または上回ることができるかを評価すること。
• 特に長期間文脈ユニット（LCUs）を含むより解釈可能な内部表現が、長距離依存関係の理解を要するタスクでの性能向上に寄与するかを調査すること。
• 小規模データと大規模データの学習データレジームにおいて、正則化とモデル容量のどちらが性能に優位性を示すかを特定すること。

提案手法

• 再帰行列に自己接続のみを持つ線形RNNであるインパulse応答言語モデル（IRLM）を提案。各ユニットの自己接続強度は-1から1の間で学習可能なパラメータである。
• ランダムドロップアウト、カラム正規化、徐々に減少する学習率を用いて、IRLMおよび非線形RNNを正則化し、小規模データセットでの一般化性能を向上させる。
• 長期間文脈ユニット（LCUs）と短期間文脈ユニットを別々に設計し、LCUsが高自己接続値（0.7～1.0）を維持するように制約を課すことで、長期間記憶を保持する。
• 大規模なデータセット（Project Gutenbergなど）でノイズ対比推定（NCE）を用いてモデルを学習させ、大規模テキストコーパスにおける効率的な訓練を可能にする。
• 小規模データセット（Penn Treebank）と大規模データセット（Microsoft Research Sentence Completion, MRSC）の両方のタスクで性能を評価し、一般化能力と長期間文脈処理能力を比較する。
• LCUsを分離して解析し、その予測性能を独立して測定することで、学習された表現を分析。その結果、LCUsのみを用いてもMRSCタスクで最先端の性能を達成した。

実験結果

リサーチクエスチョン

• RQ1 非線形RNNが線形モデルを上回る性能を発揮するのは、より良い正則化によるものか、高いモデル容量によるものか？
• RQ2 適切に正則化された場合、簡素化された線形RNNアーキテクチャ（IRLM）は非線形RNNと同等またはそれ以上の性能を発揮できるか？
• RQ3 線形モデルにおける長期間文脈ユニット（LCUs）が、言語における長距離依存関係をどれほど効果的に捉え、活用できるか？
• RQ4 同じデータセットで20%のパープレキシティの差があるにもかかわらず、なぜIRLMはMRSCタスクで非線形RNNを上回るのか？
• RQ5 アーキテクチャ設計によって、ニューラル言語モデルの内部表現をより解釈可能かつアクセス可能にできるか？

主な発見

• IRLMは、ランダムドロップアウト、カラム正規化、徐々に減少する学習率を用いた正則化を施した場合、Penn Treebankデータセットで102.5のテストパープレキシティを達成し、非線形RNNと同等の性能を発揮した。
• MRSC文の理解タスクにおいて、IRLMは52.5%の精度を達成し、NCEで学習されたRNN-LM（約50%）を上回った。これは、より良い意味的統合を示唆している。
• 予測に長期間文脈ユニット（LCUs）のみを用いた場合、IRLMはMRSCタスクで60.8%の精度を達成した。これは、以前の最先端（54.7%）を上回り、新たな最先端を樹立した。
• IRLMは、自己接続強度が0.7～0.9のユニットを用いて、過去50語分の記憶を保持する能力を学習した。これは、効果的な長期間記憶を実現していることを示している。
• RNN-LMは、同じ制約下でも、エコー状態初期化を施しても長期間記憶表現を維持できず、IRLMの構造的単純さがより安定的かつアクセス可能な長距離記憶を可能にしていることを示している。
• 本研究は、モデル容量を増やすのではなく、構造的制約を用いてよりアクセス可能な内部表現を設計することで、モデルの解釈可能性と長期間文脈タスクにおける性能向上が可能であることを示している。