[論文レビュー] MEMEN: Multi-layer Embedding with Memory Networks for Machine Comprehension

Boyuan Pan, Hao Li+4 more|arXiv (Cornell University)|Jul 28, 2017

Topic Modeling参考文献 21被引用数 67

ひとこと要約

MEMENは、POS/NERを含む多層の単語埋め込みをskip-gramで導入し、全方位性メモリネットワークと多跳アテンションを備えてSQuADとTriviaQAにおける機械読解を向上させます。

ABSTRACT

Machine comprehension(MC) style question answering is a representative problem in natural language processing. Previous methods rarely spend time on the improvement of encoding layer, especially the embedding of syntactic information and name entity of the words, which are very crucial to the quality of encoding. Moreover, existing attention methods represent each query word as a vector or use a single vector to represent the whole query sentence, neither of them can handle the proper weight of the key words in query sentence. In this paper, we introduce a novel neural network architecture called Multi-layer Embedding with Memory Network(MEMEN) for machine reading task. In the encoding layer, we employ classic skip-gram model to the syntactic and semantic information of the words to train a new kind of embedding layer. We also propose a memory network of full-orientation matching of the query and passage to catch more pivotal information. Experiments show that our model has competitive results both from the perspectives of precision and efficiency in Stanford Question Answering Dataset(SQuAD) among all published results and achieves the state-of-the-art results on TriviaQA dataset.

研究の動機と目的

• MC性能のための豊富な語彙エンコーディング（統語情報および固有表現情報を含む）の重要性を動機づける。
• skip-gramトレーニングを通じて単語、文字、POS、NER情報を組み合わせた埋め込み層を開発する。
• 全方位性（複数のアテンションスタイルを統合）を備えたメモリネットワークを提案し、 passage-question の相互作用を深める。
• 回答境界を素早く特定するためのポインタ-ネットワークベースの境界予測子を使用する。
• SQuADとTriviaQAで競争力ある、または最先端の結果を、改善された効率性とともに示す。

提案手法

• 文脈とクエリを結合した埋め込み（単語、文字、POS、NER）でエンコードする。
• POSとNERの埋め込みをskip-gramモデルで学習させ、統語/意味関係を捉える。
• 埋め込み上でBiLSTMを適用し、 passageと質問の表現を得る。
• 全方位マッチングを備えたメモリネットワークを導入し、積分的な問合せマッチング、問合せベースの類似度、文脈ベースの類似度を結合する。
• 情報フローを制御する入力ゲートを持つ複数のメモリホップを積み重ね、収束を改善する。
• 質問に配慮した表現で初期化されたポインタ-ネットワークを用いて、回答境界を予測する。

実験結果

リサーチクエスチョン

• RQ1 多層の統語/意味埋め込みは、標準的な単語/文字埋め込みを超えた機械読解のエンコーディングを改善できるのか？
• RQ2 全方位アテンションを持つ多跳読みのメモリネットワークは、自己マッチングや単一アテンション機構よりもQA性能と効率を改善するのか？
• RQ3 POS/NER skip-gram埋め込みを統合すると、SQuADとTriviaQAの結果はベースラインと比較してどう変化するのか？
• RQ4 MEMENにおける跳数（hop数）の増減は、精度と収束にどのような影響を与えるのか？
• RQ5 MEMEN表現を前提とした境界予測器（ポインタ-ネットワーク）は、 passages内の回答スパンを効率的に特定できるのか？

主な発見

• SQuADで、MEMENは正解率75.37%、F1 82.66%を達成し、競争力のある性能を示す。
• MEMENは報告された結果の中でTriviaQAにおける最先端の結果を達成する。
• アブレーションによりPOS埋め込みの寄与が顕著で、POSとNERの双方の埋め込みが有効で、特にPOSの影響が大きい。
• 全方位型メモリは3つのアテンションベクトルを用いることで、単一次元または単一ビューのアテンションより改善する。
• 3跳のMEMENは精度と訓練効率のバランスが良く、3回を超える跳数は過学習と訓練時間の影響で性能が低下する可能性がある。
• モデルは Titan X の単一GPUで効率的に学習でき、3跳で約5時間程度と、より深い自己マッチング系と比べて妥当な訓練時間を示す。