[論文レビュー] QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering

Michihiro Yasunaga, Hongyu Ren+3 more|arXiv (Cornell University)|Apr 13, 2021

Topic Modeling参考文献 62被引用数 49

ひとこと要約

QA-GNN は QA コンテキストと知識グラフを共同で推論する。QA コンテキストノードを持つ作動グラフを構築し、言語モデルによる関連性スコアリングを適用し、注意機構を用いたグラフニューラルネットワーク推論で質問に答える。

ABSTRACT

The problem of answering questions using knowledge from pre-trained language models (LMs) and knowledge graphs (KGs) presents two challenges: given a QA context (question and answer choice), methods need to (i) identify relevant knowledge from large KGs, and (ii) perform joint reasoning over the QA context and KG. In this work, we propose a new model, QA-GNN, which addresses the above challenges through two key innovations: (i) relevance scoring, where we use LMs to estimate the importance of KG nodes relative to the given QA context, and (ii) joint reasoning, where we connect the QA context and KG to form a joint graph, and mutually update their representations through graph neural networks. We evaluate our model on QA benchmarks in the commonsense (CommonsenseQA, OpenBookQA) and biomedical (MedQA-USMLE) domains. QA-GNN outperforms existing LM and LM+KG models, and exhibits capabilities to perform interpretable and structured reasoning, e.g., correctly handling negation in questions.

研究の動機と目的

• 事前学習済み言語モデルと知識グラフの両方を用いて質問に答える問題を動機づけ、LMのみ・KGのみのアプローチの限界を明らかにする。
• QAコンテキストとKGを結合した共同グラフ構造を介して統一的なLM+KGモデルを提案する。
• QAコンテキストに条件づけて関連性の低いKGノードを削減するためのKGノード関連性スコアリングを導入する。
• QAコンテキストとKG表現を同時に更新する作動グラフ上の注意機構ベースのGNNを開発する。

提案手法

• 事前学習済みLMでQAコンテキストをエンコードし、質問/回答エンティティを中心としたKGのサブグラフを取得する。
• QAコンテキストノードを導入し、トピックKGエンティティと新しい関係で結ぶことで、共同推論を可能にする作動グラフを構築する。
• QAコンテキストとKGエンティティテキストを連結し、LMで尤度を評価してKGノードの関連性スコアを算出する。
• ノードタイプ・関係・関連性を考慮したメッセージと注意を用いて、作動グラフ上の多層グラフ注意ネットワークを用いて表現を更新する。
• LMのQAコンテキスト埋め込み、GNN由来の表現、集約されたKG表現をMLPを介して結合して回答を予測する。
• 計算量を議論し、この推論タスクにGNNを用いることを正当化する。

実験結果

リサーチクエスチョン

• RQ1 知識ベース推論を要する多様なQAドメインで、共同LM+KGモデルがLMのみおよび既存のLM+KGベースラインを上回ることができるか？
• RQ2 関連性スコア付きKGサブグラフと共同のQAコンテキスト–KG推論が、否定の取り扱いなどの構造化推論タスクの性能を向上させるか？
• RQ3 作動グラフ上の注意機構を通じた解釈性と推論トレースの提供について、QA-GNNはどのように機能するか？
• RQ4 異なるKGソースを持つ常識系および生物医療QAドメインの両方でこのアプローチは効果的か？

主な発見

方法	IHdev-Acc.	IHtest-Acc.
RoBERTa-large (w/o KG)	73.07 (±0.45)	68.69 (±0.56)
+ RGCN Schlichtkrull et al. 2018	72.69 (±0.19)	68.41 (±0.66)
+ GconAttn Wang et al. 2019a	72.61 (±0.39)	68.59 (±0.96)
+ KagNet Lin et al. 2019	73.47 (±0.22)	69.01 (±0.76)
+ RN Santoro et al. 2017	74.57 (±0.91)	69.08 (±0.21)
+ MHGRN Feng et al. 2020	74.45 (±0.10)	71.11 (±0.81)
+ QA-GNN (Ours)	76.54 (±0.21)	73.41 (±0.92)

• QA-GNN は CommonsenseQA、OpenBookQA、MedQA-USMLE のすべてで、事前調整済みLMおよび従来のLM+KGモデルを上回る。
• QA-GNN が特に構造化推論を要する質問、例えば否定の扱いなどで性能を向上させ、CommonsenseQA の否定ケースでLMベースラインに対して絶対値で最大4.6%の利得を達成。
• アブレーションでは、共同グラフ構築（QAコンテキストのKGリンク）とKGノード関連性スコア링の両方が性能向上に寄与することが示される。
• QA-GNN は単一路線 traces を超える推論サブグラフを説明として抽出可能で、解釈性を広げる。
• CommonsenseQA では、QA-GNN は IHdev 76.54%、IHtest 73.41% の精度を達成し、IHtest で MHGRN を 2.3 ポイント上回る。
• OpenBookQA および MedQA-USMLE では、同じ LM の条件下でベースラインと同等かそれ以上の競争力のある結果を示す。