[論文レビュー] Long Short-Term Memory-Networks for Machine Reading

Jianpeng Cheng, Li Dong+1 more|arXiv (Cornell University)|Jan 25, 2016

Topic Modeling参考文献 60被引用数 191

ひとこと要約

LSTMNを導入。内部メモリネットワークと内部アテンションを備えたLSTMが、トークンを同時に記憶・関連づけることで言語モデリング・感情分析・自然言語推論を改善する。

ABSTRACT

In this paper we address the question of how to render sequence-level networks better at handling structured input. We propose a machine reading simulator which processes text incrementally from left to right and performs shallow reasoning with memory and attention. The reader extends the Long Short-Term Memory architecture with a memory network in place of a single memory cell. This enables adaptive memory usage during recurrence with neural attention, offering a way to weakly induce relations among tokens. The system is initially designed to process a single sequence but we also demonstrate how to integrate it with an encoder-decoder architecture. Experiments on language modeling, sentiment analysis, and natural language inference show that our model matches or outperforms the state of the art.

研究の動機と目的

• テキストを逐次処理し、メモリとアテンションで浅い推論を行える機械読み取りシミュレータを開発する。
• 標準的なシーケンスモデルのメモリ圧縮と構造処理の欠如を、再帰内にメモリネットワークを統合して解消する。
• LSTMフレームワーク内のニューラルアテンションを通じて、適応的なメモリ使用とトークン間の関係発見を可能にする。
• 複数のNLPタスクでエンドツーエンドの訓練を示し、最先端モデルと同等以上の性能を達成または超えることを目指す。

提案手法

• 入力トークンごとに文脈表現を格納するメモリネットワークでLSTMのメモリセルを置換する。
• 現在のトークンと過去のメモリを結びつけるアテンション機構を用いて、メモリと隠れ状態の適応的要約を算出する。
• 適応的メモリ内容を用いてLSTM風のゲートを計算し、c_tとh_tを更新する（式7–9）。
• オプションでメモリ/隠れ層をスタックして、シーケンス対シーケンスタスクのマルチホップまたはディープフュージョン変種を構成する（式10–16）。
• エンコーダ–デコーダ設定で、シーケンス内アテンション（イントラアテンション）とシーケンス間アテンション（インターアテンション）を統合する（浅いフュージョンと深いフュージョン、式11–16）。
• 言語モデリング、感情分析、自然言語推論などのタスクでエンドツーエンド訓練を行い、標準的なLSTMやベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 内部メモリネットワークとアテンションを備えたLSTMは、トークン間の関係をより良く捉え、長いシーケンスを処理できるか。
• RQ2 トークンメモリに対するイントラアテンションは、言語モデリングのような単一シーケンスタスクの表現を改善するか。
• RQ3 LSTMNアーキテクチャをエンコーダ–デコーダモデルと組み合わせて、翻訳や自然言語推論のような二シーケンスタスクで効果的か。
• RQ4 LSTMNの変種（単層/多層、浅いフュージョン/深いフュージョン）は、従来のLSTMより標準NLPベンチマークで優れているか。

主な発見

モデル	困惑度
KN5	141
RNN	129
LSTM	115
LSTMN	108
sLSTM	115
gLSTM	107
dLSTM	109
LSTMN	102

• 単層LSTMNはPenn TreebankでKN5、RNN、LSTMのベースラインより困惑度が低い。
• 三層LSTMNは試験された深層アーキテクチャの中で最良の困惑度を達成（LSTMN 3の102）。
• LSTMNは感情分類で標準LSTMベースラインを上回り、最先端に近い結果を達成。
• SNLIスタイルの自然言語推論では、浅いフュージョンまたは深いフュージョンを用いたLSTMN変種が競争力のある精度を示し、パラメータ比較の点で深いフュージョンが最先端の性能を示す。
• アテンションのビジュアライゼーションから、モデルは坐位–在る、皆で–である、is– watchingのような意味のあるが無向的な語彙関係を学習することが示される。
• モデルは言語モデリング、感情分析、自然言語推論の各分野で高い性能を示し、内部メモリとイントラアテンション推論の有効性を裏付ける。