[論文レビュー] Exploring Graph-structured Passage Representation for Multi-hop Reading Comprehension with Graph Neural Networks

Linfeng Song, Zhiguo Wang+4 more|arXiv (Cornell University)|Sep 6, 2018

Topic Modeling参考文献 33被引用数 86

ひとこと要約

本論文は、節に対して3種類の辺タイプリスト（同一エンティティ、コアリファレンス、ウィンドウ）を持つグラフ構造表現を構築し、グラフニューラルネットワーク（GRN/GCN）を適用して多段階読解の証拠統合を行い、追加の注針なしでWikiHopとComplexWebQuestionsにおいて最先端の結果を達成した。

ABSTRACT

Multi-hop reading comprehension focuses on one type of factoid question, where a system needs to properly integrate multiple pieces of evidence to correctly answer a question. Previous work approximates global evidence with local coreference information, encoding coreference chains with DAG-styled GRU layers within a gated-attention reader. However, coreference is limited in providing information for rich inference. We introduce a new method for better connecting global evidence, which forms more complex graphs compared to DAGs. To perform evidence integration on our graphs, we investigate two recent graph neural networks, namely graph convolutional network (GCN) and graph recurrent network (GRN). Experiments on two standard datasets show that richer global information leads to better answers. Our method performs better than all published results on these datasets.

研究の動機と目的

• グローバルな証拠を局所的なコアリファレンス情報を超えて結びつけ、MHRCの動機づけと改善を図る。
• 3つの辺タイプを用いて節を横断するエンティティ言及のより豊かなグラフ構築を提案する。
• グラフニューラルネットワーク（GRN/GCN）を用いてグラフをエンコードし、証拠を統合して回答を選択する。

提案手法

• 3つの辺タイプ（同一エンティティ、コアファレンス、ウィンドウベースのエッジ）を用いて節間のエンティティ言及と代名詞からグラフを構築する。
• GRNまたはGCNでグラフをエンコードして情報を伝播させる。
• 各エンティティ言及と質問をニューラルエンコードで表現し、グラフ状態全体で候補回答のスコアを加法的アテンションで計算する。
• 各候補について言及ごとのスコアを集約し、正規化して最終的な確率を得る。
• Adam最適化器を用いたクロスエントロピー損失でエンドツーエンドに学習する。
• 同モデルをLocal BiLSTMおよびCoref-LSTM/DAG-LSTMなどのベースラインと比較し、エッジタイプのアブレーションを行う。

Figure 2: A DAG generated by Dhingra et al. ( 2018 ) (top) and a graph by considering all three types of edges (bottom) on the example in Figure 1 .

実験結果

リサーチクエスチョン

• RQ1 複数のエッジタイプを用いたグローバル証拠の強化は、テキスト節間のマルチホップ推論を改善するか。
• RQ2 GRNとGCNはMHRCのためのより豊かなグラフ構造のエンコードにおいてどう比較されるか。
• RQ3 各エッジタイプ（同一、コアファレンス、ウィンドウ）の寄与は全体の性能にどのように影響するか。
• RQ4 グラフベースの証拠統合フレームワークは、データセット標準のMHRCに対してDAGベースのコアリファレンス手法を上回るか。

主な発見

モデル	開発	テスト
GA w/ GRU	54.9	–
GA w/ Coref-GRU	56.0	59.3
Local	61.0	–
Coref LSTM	61.4	–
Coref GRN	61.4	–
MHQA-GCN	62.6	–
MHQA-GRN	62.8	65.4

• MHQA-GRNはWikiHopテストセットで65.4%の精度を達成。提出時点で公表された中で最高の結果。
• MHQA-GRNは一貫してMHQA-GCNを上回り、両方ともWikiHopとComplexWebQuestionsのベースラインを上回る。
• アブレーション実験では3種類のエッジすべてが性能に寄与しており、ウィンドウエッジは同一コアファレンス関係ほど強くはないが有益。
• WikiHopの開発セットでは、3つの遷移ステップ（T=3）を用いたGRNが最良。より多いステップはノイズを招き性能を低下させる可能性。
• ComplexWebQuestionsでは、MHQA-GRNはLocalを上回り、追加注釈なしのSplitQAアプローチを上回る（devセットの数値：MHQA-GRN 33.2 対 Local 31.2）。
• MHQA-GRNは複数の節や関連エンティティを横断して証拠を統合することで実質的な利得を示し、グラフベースのグローバルコンテキストの価値を示している。

Figure 3: Baselines. The upper dotted box is a DAG LSTM layer with addition coreference links, while the bottom is a typical BiLSTM layer. Either layer is used.