[論文レビュー] Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs

Ming Tu, Guangtao Wang+4 more|arXiv (Cornell University)|May 17, 2019

Topic Modeling参考文献 35被引用数 28

ひとこと要約

本稿では、複数文書にまたがるマルチホップ読解のための、異種グラフベースのモデル、Heterogeneous Document-Entity (HDE) グラフを提案する。コアテンションと自己注意機構を用いて、候補、文書、エンティティのノードにクエリに依存する表現を統合し、メッセージパッシングを実行するグラフニューラルネットワーク（GNN）を活用することで、WikiHopベンチマークで最先端の性能を達成した。アンサンブルモデルは、盲検テストセットにおいて人間の性能を0.2%上回った。

ABSTRACT

Multi-hop reading comprehension (RC) across documents poses new challenge over single-document RC because it requires reasoning over multiple documents to reach the final answer. In this paper, we propose a new model to tackle the multi-hop RC problem. We introduce a heterogeneous graph with different types of nodes and edges, which is named as Heterogeneous Document-Entity (HDE) graph. The advantage of HDE graph is that it contains different granularity levels of information including candidates, documents and entities in specific document contexts. Our proposed model can do reasoning over the HDE graph with nodes representation initialized with co-attention and self-attention based context encoders. We employ Graph Neural Networks (GNN) based message passing algorithms to accumulate evidences on the proposed HDE graph. Evaluated on the blind test set of the Qangaroo WikiHop data set, our HDE graph based single model delivers competitive result, and the ensemble model achieves the state-of-the-art performance.

研究の動機と目的

• 単一の文書だけでは答えを導けない、複数文書にまたがるマルチホップ読解の課題に対処すること。
• 単一のノードタイプに依存する既存のモデルや、多様な情報粒度における構造的推論を欠いたモデルの限界を克服すること。
• 候補、文書、エンティティを統合した異種グラフとしての統一的なフレームワークを構築し、推論を向上させること。
• コアテンションと自己注意機構を用いてクエリに依存するノード表現を生成し、エンドツーエンドの学習を可能にすること。
• 事前学習済みELMo埋め込みを用いない状態で、WikiHopベンチマークで最先端の性能を達成すること。

提案手法

• 候補、文書、エンティティの異なるノードタイプを有する異種グラフ、Heterogeneous Document-Entity (HDE) グラフを構築する。ノードは異種エッジで接続される。
• コアテンションと自己注意機構を用いてノード表現を初期化し、クエリに依存する文脈的埋め込みを生成する。
• メッセージパッシングを実行するグラフニューラルネットワーク（GNN）を適用し、HDEグラフ全体で証拠を集約することでマルチホップ推論を可能にする。
• すべてのノードタイプからの証拠を統合するスコア集約メカニズムを用い、異なるエッジタイプが構造的情報を保持する。
• 正解の候補を予測するために、候補ノード上で分類ヘッドを用いてエンドツーエンドでモデルを学習する。
• 異なるノードタイプやエッジタイプのモデル性能への寄与度を評価するためにアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 候補、文書、エンティティといった複数の粒度を統合した異種グラフは、文書レベルQAにおけるマルチホップ推論を改善できるか？
• RQ2 コアテンションと自己注意機構は、複数文書の文脈においてノード表現学習をどのように向上させるか？
• RQ3 候補、文書、エンティティといった異なるノードタイプの相対的な寄与度は、最終的な推論性能にどのように影響するか？
• RQ4 異種グラフ構造は、文書間で複雑な証拠チェーンをモデル化する際、同種グラフと比べてどのように優れているか？
• RQ5 本モデルは、支援文書や候補の数が変動する状況において、どの程度一般化可能か？

主な発見

• HDEグラフモデルは、WikiHopの盲検テストセットで最先端の性能を達成し、アンサンブルモデルは公式リーダーボードで1位を獲得した。
• 2019年5月30日現在、アンサンブルモデルはWikiHopベンチマークで人間の性能を0.2%上回った。
• 単一モデルバージョンは、Zhongら（2019年）が発表した以前のSOTAモデルを、同じベンチマークで上回った。
• アブレーションスタディの結果、エンティティノードを削除すると性能低下が最も大きくなり（1.0%の精度低下）、推論においてその重要性が浮き彫りになった。
• エンティティノードからのスコアが分類に与える寄与度は、候補ノードよりも大きい。候補ノードを削除すると1.5%の精度低下が生じた。
• 支援文書や候補の数が増加するにつれて性能が低下する傾向にあり、より大きなグラフにおける推論の複雑さが示された。