[論文レビュー] Reading Comprehension using Entity-based Memory Network

Xun Wang, Katsuhito Sudoh+4 more|arXiv (Cornell University)|Dec 12, 2016

Topic Modeling参考文献 26被引用数 3

ひとこと要約

本論文は、メモリプール内の動的に更新されるエンティティ状態を通じてテキストを表現することにより、長文における細分化された推論を可能にするエンティティベースのメモリネットワーク（EntityMNN）を提案する。このモデルは、MCTestデータセットのMC160およびMC500の各々で76.1%および76.6%の平均正答率を達成し、複雑な意味的特徴に依存せずに、先行手法を上回る最先端の性能を発揮する。

ABSTRACT

This paper introduces a novel neural network model for question answering, the \emph{entity-based memory network}. It enhances neural networks' ability of representing and calculating information over a long period by keeping records of entities contained in text. The core component is a memory pool which comprises entities' states. These entities' states are continuously updated according to the input text. Questions with regard to the input text are used to search the memory pool for related entities and answers are further predicted based on the states of retrieved entities. Compared with previous memory network models, the proposed model is capable of handling fine-grained information and more sophisticated relations based on entities. We formulated several different tasks as question answering problems and tested the proposed model. Experiments reported satisfying results.

研究の動機と目的

• 文全体ではなくエンティティをコア情報ユニットとしてモデル化することにより、長文におけるニューラルネットワークの推論性能を向上させること。
• 文レベルのメモリネットワークがテキスト内の細分化された関係に基づく情報を捉える能力に制限を受ける問題を解決すること。
• 外部知識や複雑な特徴工学に過度に依存せず、多様なNLPタスクに応用可能なスケーラブルで汎用的なQAフレームワークを開発すること。
• bAbI、MCTest、および大規模な映画レビューなど多様なデータセット上でモデルの有効性を評価し、強力な汎化性能を示すこと。

提案手法

• モデルは、エンティティ状態から構成されるメモリプールを構築し、各エンティティの表現を入力テキストに基づいて段階的に更新する。
• 入力文を解析してエンティティおよびその関係を抽出し、それらをメモリプール内の対応するエンティティ状態に更新する。
• 質問応答の際、類似度ベースの検索機構を用いて質問ベクトルとエンティティ状態を照合することで、関連するエンティティを取得する。
• 回答は、取得したエンティティ状態からの情報集約を行う応答モジュールによって予測され、エンティティレベルの関係に基づく推論が可能になる。
• 予測された回答と正解ラベルの交差エントロピー損失を最小化するように、勾配降下法を用いてエンドツーエンドでモデルを学習する。
• 各回答選択肢を仮説として扱い、エンティティ状態の分析による検証を行うことで、オープンドメインおよび複数選択形式のQAを両方サポートする。

実験結果

リサーチクエスチョン

• RQ1 文レベルのメモリネットワークと比較して、エンティティ状態によるテキストモデリングが、質問応答タスクにおける推論性能を向上させるか。
• RQ2 エンティティベースのメモリネットワークは、細分化された関係および長文の理解を扱う能力を十分に有しているか。
• RQ3 外部知識や広範な特徴工学に依存せず、多様なデータセットに汎用的に適用可能か。
• RQ4 MCTestやIMDBのような標準ベンチマークにおいて、エンティティベースのアプローチが既存の最先端モデルを上回るか。

主な発見

• エンティティベースのメモリネットワークは、MCTestデータセットのMC160サブセットで平均正答率76.1%、MC500サブセットで76.6%を達成し、先行する最先端手法を上回った。
• Large Movie Review Datasetでは97.2%の正答率を達成し、より複雑なアーキテクチャと特徴を用いた以前のSOTAモデルを上回った。
• bAbIデータセットでも優れた性能を示し、マルチホップ推論を要するような多様な推論タスクへの有効性を示した。
• 結果から、エンティティレベルの推論が、外部知識や豊富な意味的特徴に依存せずとも、細分化された情報や複雑な関係をよりよく捉えることができ、性能向上に寄与することが明らかになった。
• モデルは多様な言語やタスクにおいても頑健であり、今後の拡張により低リソース言語やプロドロップ言語への容易な適応が可能である。