[論文レビュー] Recurrent Neural Networks with External Memory for Language Understanding

Baolin Peng, Kaisheng Yao|arXiv (Cornell University)|May 31, 2015

Topic Modeling参考文献 26被引用数 35

ひとこと要約

この論文では、言語理解における長期依存関係学習を改善するために外部記憶を備えた再帰的ニューラルネットワーク（RNN-EM）を提案する。文間をまたいで過去の隠れ状態を格納・取得することで、ATISデータセットにおいて最先端の性能を達成し、LSTMベースのモデルでさえ上回り、平均F1スコア94.96％を達成し、収束が速い。

ABSTRACT

Recurrent Neural Networks (RNNs) have become increasingly popular for the task of language understanding. In this task, a semantic tagger is deployed to associate a semantic label to each word in an input sequence. The success of RNN may be attributed to its ability to memorize long-term dependence that relates the current-time semantic label prediction to the observations many time instances away. However, the memory capacity of simple RNNs is limited because of the gradient vanishing and exploding problem. We propose to use an external memory to improve memorization capability of RNNs. We conducted experiments on the ATIS dataset, and observed that the proposed model was able to achieve the state-of-the-art results. We compare our proposed model with alternative models and report analysis results that may provide insights for future research.

研究の動機と目的

• 消失・爆発勾配による標準RNNの記憶容量の制限を解消する。
• 言語理解のような系列ラベル付けタスクにおける長期依存関係モデリングを改善する。
• 外部記憶メカニズムをRNNに拡張することで、ATISデータセットにおける意味的タグ付け性能を向上させる。
• 記憶サイズとアーキテクチャがモデルの収束および一般化に与える影響を調査する。
• 外部記憶がLSTMのようなゲート付きRNN変種を上回ることを示す。

提案手法

• 現在および以前の文からの過去の隠れ状態を格納する外部記憶モジュールを導入する。
• 現在の入力および隠れ状態から導出されるクエリを用いて、コンテンツベースのアドレッシングにより出力予測時に関連する記憶内容を取得する。
• リードゲートおよびライトゲート機構を用いて記憶アクセスを制御し、記憶スロットの選択的読み取りおよび更新を可能にする。
• 取得した記憶内容を現在の隠れ状態と統合して出力予測を生成する。
• バックプロパゲーションとAdaDelta最適化を用いてエンドツーエンドで学習し、微分可能な記憶操作を維持する。
• 学習可能なパラメータを有する固定サイズの記憶を用い、各スロットを40次元のベクトルとする。記憶スロット数を変化させることで記憶容量の影響を調査する。

実験結果

リサーチクエスチョン

• RQ1 外部記憶メカニズムは、言語理解タスクにおけるRNNの長期記憶容量を顕著に向上させることができるか？
• RQ2 系列タグ付けタスクにおいて、RNN-EMはLSTMおよびGRNNと比較して収束速度および最終的性能で優れているか？
• RQ3 RNN-EMアーキテクチャにおいて、性能と過学習のバランスをとる最適な記憶スロット数は何か？
• RQ4 外部記憶の導入は、異なるランダムシードにおける一般化および頑健性にどのように影響するか？
• RQ5 外部記憶は、標準RNNおよびゲート付き変種と比較して、長距離依存関係のモデリングをより良く可能にするか？

主な発見

• RNN-EMはATISデータセットで平均F1スコア94.96％を達成し、LSTM（94.73％）および他のベースラインを顕著に上回った。
• モデルは単純なRNNおよびLSTMよりも収束が早く、訓練エントロピーも低かった。これは最適化ダイナミクスの向上を示している。
• 8つの記憶スロットを用いたRNN-EMは、95.22％の最高のテストF1スコアを達成し、タスクに最適な記憶容量であることを示した。
• 8スロットを超えて記憶サイズを増加させると、訓練エントロピーが上昇し性能が低下した。これは過学習と限界効果の低下を示している。
• 単一の記憶スロットでも、RNN-EMは単純なRNN（94.09％ F1）を上回り、GRNN（94.70％ F1）と同等の性能を達成した。これはゲーティング機構の利点を示している。
• 10回の異なるランダムシードにおいて一貫した改善が見られ、最大F1は95.22％、最小F1は94.71％であった。これはモデルの頑健性および安定性を示している。