[論文レビュー] Attention-based Memory Selection Recurrent Network for Language Modeling

Da-Rong Liu, Shun-Po Chuang+1 more|arXiv (Cornell University)|Nov 26, 2016

Topic Modeling参考文献 21被引用数 4

ひとこと要約

本稿では、注意メカニズムを用いて過去の時刻ステップからの関連する記憶状態を動的に選択する、LSTMに基づく言語モデルであるAttention-based Memory Selection Recurrent Network (AMSRN) を提案する。記憶選択学習により、隠れ状態のどの次元が注意重みに最も寄与するかを学習する。AMSRNは、英語および中国語の言語モデリングタスクにおいて、標準LSTMおよび既存の注意ベースのモデル（RMN）を上回り、多様なコーパスにおいてより高いロバスト性と一貫した性能向上を示す。

ABSTRACT

Recurrent neural networks (RNNs) have achieved great success in language modeling. However, since the RNNs have fixed size of memory, their memory cannot store all the information about the words it have seen before in the sentence, and thus the useful long-term information may be ignored when predicting the next words. In this paper, we propose Attention-based Memory Selection Recurrent Network (AMSRN), in which the model can review the information stored in the memory at each previous time step and select the relevant information to help generate the outputs. In AMSRN, the attention mechanism finds the time steps storing the relevant information in the memory, and memory selection determines which dimensions of the memory are involved in computing the attention weights and from which the information is extracted.In the experiments, AMSRN outperformed long short-term memory (LSTM) based language models on both English and Chinese corpora. Moreover, we investigate using entropy as a regularizer for attention weights and visualize how the attention mechanism helps language modeling.

研究の動機と目的

• RNNにおける固定サイズの記憶の制限を解消し、次単語予測の際に有用な長期的文脈情報を捨ててしまう問題に対処すること。
• すべての過去の時刻ステップにわたるLSTM記憶に保持された関連情報を選択的に注目できるようにすることで、言語モデリングの性能を向上させること。
• すべての次元を等しく扱うのではなく、注意計算に最も関連するLSTM隠れ状態の次元を学習する記憶選択メカニズムを開発すること。
• 注意重みに対するエントロピー正則化の有効性を検証し、モデルの一般化性能を向上させるかを調査すること。
• 因果関係、繰り返しトリガー、文法的依存関係などのパターンを特定することで、注意メカニズムが言語モデリングをどのように向上させるかを可視化・分析すること。

提案手法

• AMSRNは、標準LSTMに上記の注意メカニズムを統合し、すべての過去の時刻ステップに保存されたLSTM隠れ状態からの関連情報を注目できるようにする。
• 記憶選択メカニズムは、エンド・トゥ・エンドの学習により、注意重みを計算するのに関連するLSTM隠れ状態のどの次元が最も重要であるかを学習する。
• 注意重みは、現在のLSTM隠れ状態から導出されるクエリベクトルと、過去の隠れ状態からのキーべクトルを用いて計算され、クエリとキーの要素ごとの積算後にソフトマックス処理が施される。
• 各メモリ次元の寄与度を制御するパrameter化された重みベクトルを用いることで、注意計算における関連特徴の動的選択が可能になる。
• 注意重みにエントロピー正則化を適用し、スパarsityを促進し一般化性能を向上させるが、結果はデータセットによって異なり、一貫した有効性は示さない。
• アーキテクチャは元のLSTM構造を保持しており、標準LSTM言語モデルを用いた事前学習が可能である。

実験結果

リサーチクエスチョン

• RQ1 LSTMに注意メカニズムを統合することで、英語や中国語のような低リソースまたは屈曲語の多様なコーパスにおける言語モデリング性能がどのように向上するか？
• RQ2 記憶選択の役割は、すべてのメモリ次元を均等に扱うモデルと比較して、注意ベースの言語モデルの性能をどのように向上させるか？
• RQ3 注意重みに対するエントロピー正則化は、異なる言語データセットにおいて性能向上およびより安定した注意分布をもたらすか？
• RQ4 AMSRNの注意重みは、因果関係、繰り返しトリガー、文構造的依存関係といった言語現象をどのように反映しているか？
• RQ5 RMN や RMR といった既存の注意ベースのモデルと比較して、提案モデルはどのような言語タイプにおいても、より高いロバスト性と一般化性能を示すか？

主な発見

• AMSRNは、Penn Treebank（133.36 vs. 143.31）、Switchboard（92.49 vs. 93.90）、Chinese Gigaword（86.85 vs. 94.03）という3つのデータセットすべてにおいて、標準LSTMを上回る性能を示し、パープレキシティの観点で一貫した優位性を示した。
• 記憶選択の導入により、注意のみのモデルよりも顕著な性能向上が得られたことから、メモリ次元の選択的重み付けが効果的な注意に不可欠であることが示された。
• エントロピー正則化はPenn Treebankでは性能向上（131.43）をもたらしたが、SwitchboardおよびChinese Gigawordでは性能が低下した。これは、スパースな注意がすべての文脈で最適ではない可能性を示唆している。
• AMSRNは、RMN や RMR と比較して、さまざまなコーパスにおいてより高いロバスト性を示した。特に中国語では、RMN や RMR が性能を発揮しなかった。
• 可視化により、AMSRNの注意メカニズムが因果関係、繰り返しトリガー、フレーズ構造、文法的一致といった関連する言語的手がかりに注目していることが明らかになった。これは、モデルの解釈可能性を示している。
• モデルが各時刻ステップごとに関連するメモリ次元を動的に選択できる能力により、固定または均等重み付けされた注意メカニズムよりも、長期的文脈の有効利用が可能になった。