[論文レビュー] Long-Term Memory Networks for Question Answering

Fenglong Ma, Radha Chitta+5 more|arXiv (Cornell University)|Jul 6, 2017

Topic Modeling被引用数 6

ひとこと要約

本稿では、外部メモリモジュールと長短期記憶（LSTM）ネットワークを組み合わせた弱教師ありエンドツーエンド学習可能な再帰的ニューラルネットワーク、Long-Term Memory Network（LTMN）を提案する。このモデルは、質疑応答タスクにおける複数語の答えを生成するために設計されており、合成bAbIおよび実世界のStanford Question Answeringデータセットの両方で最先端の性能を達成している。従来の弱教師ありモデルに比べて、複数語の答え生成において優れた性能を発揮するとともに、最小限の教師データに依存する。

ABSTRACT

Question answering is an important and difficult task in the natural language processing domain, because many basic natural language processing tasks can be cast into a question answering task. Several deep neural network architectures have been developed recently, which employ memory and inference components to memorize and reason over text information, and generate answers to questions. However, a major drawback of many such models is that they are capable of only generating single-word answers. In addition, they require large amount of training data to generate accurate answers. In this paper, we introduce the Long-Term Memory Network (LTMN), which incorporates both an external memory module and a Long Short-Term Memory (LSTM) module to comprehend the input data and generate multi-word answers. The LTMN model can be trained end-to-end using back-propagation and requires minimal supervision. We test our model on two synthetic data sets (based on Facebook's bAbI data set) and the real-world Stanford question answering data set, and show that it can achieve state-of-the-art performance.

研究の動機と目的

• 従来のニューラルネットワークが質疑応答タスクにおける複数語の答え生成において抱える制限を解決すること。
• 強教師ありの事実アノテーションを必要とせず、最小限のラベル付きデータで学習可能な弱教師ありモデルの開発。
• 外部メモリモジュールとLSTMを統合し、順序付き入力テキストに対する長期記憶と推論を可能にすること。
• バックプロパゲーションを用いたエンドツーエンド学習により、一般化性能の向上と教師依存度の低減を実現すること。
• 合成（bAbI）および実世界（SQuAD）の質疑応答ベンチマークの両方で性能を評価すること。

提案手法

• LTMNモデルは、入力文および質問を密度ベクトル埋め込みとして、分散表現で符号化する。
• 時間経過に伴い、入力シーケンスからの関連する事実を格納・取得する外部メモリモジュールを採用する。
• アテンション機構を用いて、入力文と質問の間の一致確率を計算し、支援要因を同定する。
• 長短期記憶（LSTM）ネットワークが、注目した要因と質問文の文脈を処理することで、複数語の答えを生成する。
• 全アーキテクチャをバックプロパゲーションを用いたエンドツーエンド学習で最適化し、最小限の教師データで学習する。各質問に対して、それより前のすべての文を入力として使用する。
• 複数語の答え生成の評価には、正確一致率（EMA）とBLEUスコアを用いる。

実験結果

リサーチクエスチョン

• RQ1 弱教師ありのニューラルネットワークアーキテクチャは、質疑応答タスクにおいて正確な複数語の答えを生成できるか？
• RQ2 LSTMと外部メモリモジュールを統合することで、長大な入力シーケンスにおける推論力と記憶力がどのように向上するか？
• RQ3 LTMNモデルは、MemNN や DMN といった強教師ありモデルと同等の性能を発揮するが、教師データの必要量を大幅に削減できるか？
• RQ4 bAbIデータセットにおけるコアファレンス、否定、パス探索といった多様な推論タスクにおいて、LTMNはどの程度有効か？
• RQ5 LTMNは、実世界の質疑応答ベンチマーク、たとえばStanford Question Answering Dataset（SQuAD）にも一般化可能か？

主な発見

• 単語回答用bAbIデータセットでは、LTMNは平均正解率73.9%を達成し、弱教師ありLSTM+アテンション（73.9%）およびMemN2N（93.4%）を上回り、強教師ありMemNN（93.6%）およびDMN（93.6%）に近い性能を示した。
• 複数語回答用bAbIデータセットでは、LTMNは平均EMA 72.6%、BLEU 75.9%、PMA 78.8%を達成し、LSTM（42.2% EMA）およびLSTM+アテンション（46.8% EMA）を顕著に上回った。
• LTMNはbAbIの20のタスクのうち10つで100%の正解率を達成し、『基本的推論』や『エージェントの動機』といった複雑な推論タスクにおいても強力な一般化能力を示した。
• 『パス探索』タスクでは、LTMNは100%のPMAを達成し、LSTM+アテンション（59.1%）およびLSTM（35.1%）を上回り、長大なシーケンスに対する推論能力の向上を示した。
• 実世界のStanford Question Answering Dataset（SQuAD）では、LTMNは最先端の性能を達成し、合成ベンチマークを越えた有効性を確認した。
• 長大な入力シーケンスおよび大規模な語彙に対しては、サポート事実の計算が非効率であるため、性能が著しく低下し、スケーラビリティに制限があることが判明した。