[論文レビュー] Multi-Paragraph Reasoning with Knowledge-enhanced Graph Neural Network

Deming Ye, Yankai Lin+3 more|arXiv (Cornell University)|Nov 6, 2019

Topic Modeling参考文献 11被引用数 14

ひとこと要約

本稿では、オープンドメイン質問応答（OpenQA）における複数段落にわたる推論のための知識強化型グラフニューラルネットワーク（KGNN）を提案する。知識グラフからのエンティティおよび関係的事実をモデル化することで、段落間での構造的推論を可能にする。KGNNは、ドミナント設定で52.82% F1、フルウィキ設定で47.19% F1を達成し、取得した段落数の増加に対しても頑健であることが示された。

ABSTRACT

Multi-paragraph reasoning is indispensable for open-domain question answering (OpenQA), which receives less attention in the current OpenQA systems. In this work, we propose a knowledge-enhanced graph neural network (KGNN), which performs reasoning over multiple paragraphs with entities. To explicitly capture the entities' relatedness, KGNN utilizes relational facts in knowledge graph to build the entity graph. The experimental results show that KGNN outperforms in both distractor and full wiki settings than baselines methods on HotpotQA dataset. And our further analysis illustrates KGNN is effective and robust with more retrieved paragraphs.

研究の動機と目的

• 既存のOpenQAシステムにおける効果的な複数段落にわたる推論の欠如に取り組むこと、特に段落間の推論を要する質問に対して。
• エンティティをノードとしてモデル化し、知識グラフによる関係を用いて複数段落にわたる推論を向上させること。
• 外部知識からの共参照および関係的事実を用いてエンティティの類似性を捉えるグラフニューラルネットワークを開発すること。
• 取得した段落数の増加に対応した際のモデルの頑健性とスケーラビリティを評価すること。

提案手法

• エンティティはspaCyを用いて段落から抽出され、Wikidataにリンクされて知識の根拠付けがなされる。
• 同じエンティティを指す複数の表記が異なる段落に現れる場合、それらの間を共参照エッジで結ぶエンティティグラフが構築される。
• エンティティ間に知識グラフ内に存在する関係（例：'lyrics by'、'record label'）が共有されている場合、関係エッジが追加される。
• 知識強化型グラフニューラルネットワークが、関係性を持つエンティティグラフ上でメッセージパッシングを実行し、ノード表現を更新する。
• 質問と段落を文脈的な表現にエンコードするために、マルチヘッド自己注意およびバイアテンションメカニズムが使用される。
• 最終的な答え予測は、グラフネットワークから更新されたエンティティ表現を用いてスパン抽出により実行される。

実験結果

リサーチクエスチョン

• RQ1 知識強化型グラフニューラルネットワークは、ベースラインモデルと比較して、オープンドメイン質問応答における複数段落にわたる推論を改善できるか？
• RQ2 知識グラフからの関係的事実を統合することで、複数段落にわたる推論性能にどのような影響を与えるか？
• RQ3 取得段落数の増加に対し、モデルは性能を維持または向上させるか。これはノイズに対する頑健性を示す。
• RQ4 HotpotQAにおける推論に最適なメッセージパッシングの深さ（層数）は何か？
• RQ5 ドミナント段落とフルウィキ検索の両方の設定下で、モデルの性能はいかがなっているか？

主な発見

• ドミナント設定ではKGNNが52.82% F1および22.40% EMを達成し、Yangら（2018）の41.87% F1および18.14% EMを顕著に上回った。
• フルウィキ設定ではKGNNが47.19% F1および7.03% EMを達成し、Yangら（2018）の37.71% F1および1.85% EMを上回った。
• 2層のKGNNモデルが最良の性能（54.05% F1）を達成した。これは、大多数のHotpotQA質問に対して2ホップ推論が最適であることを示している。
• 30個の取得段落を用いた場合、KGNNのF1は25.12%に上昇した。これは、Yangら（2018）の21.52%と比較して、ノイズ除去およびスケーラビリティに優れていることを示している。
• 段落数の増加に伴い、モデルはベースラインを上回る性能向上を示し、増加する段落数に対して頑健であることが確認された。
• ディレクター、ポジションホールド、レコードレーベル、リリース、アダプトドフロムの5つの主要な関係の使用が、推論能力を顕著に向上させた。