[論文レビュー] BAG: Bi-directional Attention Entity Graph Convolutional Network for Multi-hop Reasoning Question Answering

Yu Cao, Meng Fang+1 more|arXiv (Cornell University)|Apr 10, 2019

Topic Modeling参考文献 19被引用数 46

ひとこと要約

BAG は複数文書入力からエンティティグラフを構築し、マルチレベル特徴を持つリレーショナルGCNを適用し、グラフとクエリ間の双方向注意を用いて WIKIHOP における最先端のマルチホップ QA を実現します。

ABSTRACT

Multi-hop reasoning question answering requires deep comprehension of relationships between various documents and queries. We propose a Bi-directional Attention Entity Graph Convolutional Network (BAG), leveraging relationships between nodes in an entity graph and attention information between a query and the entity graph, to solve this task. Graph convolutional networks are used to obtain a relation-aware representation of nodes for entity graphs built from documents with multi-level features. Bidirectional attention is then applied on graphs and queries to generate a query-aware nodes representation, which will be used for the final prediction. Experimental evaluation shows BAG achieves state-of-the-art accuracy performance on the QAngaroo WIKIHOP dataset.

研究の動機と目的

• 跨ドキュメントにまたがる推論が必要なマルチホップQAを動機づける。
• ノード表現を豊かにするためにマルチレベル機能を備えたドキュメントのエンティティグラフ表現を提案する。
• エンティティグラフとクエリ間の双方向注意機構を導入し、クエリ意識したノード表現を導出する。

提案手法

• ドキュメントからノードがエンティティ言及で、エッジが同一エンティティを複数文書間または文書内で結ぶエンティティグラフを構築する。
• トークンレベル(GLoVe)、文脈的(ELMo)、NER/POS特徴、ノード表現を集約したマルチレベル特徴をノードとクエリに対して抽出する。
• Relational Graph Convolutional Network (R-GCN) を用いてマルチホップグラフ上で関係認識表現を伝搬させる。
• グラフのノード(GCN 由来)とクエリとの間に双方向注意層を適用し、クエリ意識的なノード表現を生成する。
• 2 レイヤーのフィードフォワード出力層を用いて、各ノードが答えである確率を予測し、繰り返し出現する候補ノードの確率を合計する。

実験結果

リサーチクエスチョン

• RQ1 クロスドキュメントのエンティティ表現が QA のマルチホップ推論を促進できるか。
• RQ2 エンティティグラフとクエリの間の双方向注意を組み込むことで推論と回答精度が向上するか。
• RQ3 マルチレベル特徴がグラフベースのマルチホップ QA モデルの性能にどう寄与するか。

主な発見

モデル	非マスク開発データ	非マスク テスト	非マスク テスト1	マスク開発データ	マスク テスト1
FastQA	27.2*	-	38.5	38.0*	48.3
BiDAF	49.7*	-	45.2	59.8*	57.5
Coref-GRU	56.0*	59.3	57.2	-	-
MHQA-GRN	62.8*	65.4	-	-	-
Entity-GCN	64.8*	67.6	63.1	70.5*	68.1
BAG	66.5	69.0	65.7	70.9	68.9

• BAG は WIKIHOP データセットにおいて、非マスク設定・マスク設定の両方で最先端の精度を達成（非マスクテストセットのテスト精度は 69.0%、従来の最高の Entity-GCN を上回る）。
• アブレーションにより双方向注意または GCN を除去すると性能が低下し、マルチホップ推論におけるこれらの要素の重要性が確認された。
• エッジ型意識（Relational GCN）とマルチレベル特徴（ELMo を含む）の利用は成績を大幅に改善し、ELMo を除去すると性能が大幅に低下した。
• 双方向グラフ-クエリ注意は、このタスクにおいて単方向または文脈からクエリへの注意よりも有意な改善をもたらす。