[論文レビュー] UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph

Jinhao Jiang, Kun Zhou+2 more|arXiv (Cornell University)|Dec 2, 2022

Topic Modeling被引用数 28

ひとこと要約

UniKGQAは、複数ホップのKGQAにおける検索と推論を共同で扱う統一モデルを提示する。意味的マッチングPLMと情報伝搬モジュールを用い、検索のための抽象サブグラフと共有の事前学習タスクを備える。

ABSTRACT

Multi-hop Question Answering over Knowledge Graph~(KGQA) aims to find the answer entities that are multiple hops away from the topic entities mentioned in a natural language question on a large-scale Knowledge Graph (KG). To cope with the vast search space, existing work usually adopts a two-stage approach: it first retrieves a relatively small subgraph related to the question and then performs the reasoning on the subgraph to find the answer entities accurately. Although these two stages are highly related, previous work employs very different technical solutions for developing the retrieval and reasoning models, neglecting their relatedness in task essence. In this paper, we propose UniKGQA, a novel approach for multi-hop KGQA task, by unifying retrieval and reasoning in both model architecture and parameter learning. For model architecture, UniKGQA consists of a semantic matching module based on a pre-trained language model~(PLM) for question-relation semantic matching, and a matching information propagation module to propagate the matching information along the directed edges on KGs. For parameter learning, we design a shared pre-training task based on question-relation matching for both retrieval and reasoning models, and then propose retrieval- and reasoning-oriented fine-tuning strategies. Compared with previous studies, our approach is more unified, tightly relating the retrieval and reasoning stages. Extensive experiments on three benchmark datasets have demonstrated the effectiveness of our method on the multi-hop KGQA task. Our codes and data are publicly available at~\url{https://github.com/RUCAIBox/UniKGQA}.

研究の動機と目的

• 複数ホップKGQAにおける検索と推論の分離段階の非効率性を動機づけ、改善する。
• 検索と推論の間でパラメータと信号を共有する統一アーキテクチャを提案する。
• 段階間のスケール差を正規化するために抽象サブグラフを導入する。
• 段階間で知識を伝達するための事前学習とファインチューニング戦略を設計する。
• ベンチマークデータセットでの有効性を示し、検索品質と学習の影響を分析する。

提案手法

• デュアルモジュールアーキテクチャ: 質問–リレーションの関連性を評価する PLM を用いた意味的マッチング (SM) と、SM 信号を KG の辺に沿って伝搬させるマッチング情報伝搬 (MIP) モジュール。
• 検索のための抽象サブグラフ: 同じ head-relation プレフィックスを持つ三つ組の尾部を結合してノード規模を削減。
• 関連するリレーションに質問を合わせる対比学習を用いた共有事前学習タスク (Question-Relation Matching) を用い、話題と回答間の最短経路を正例として定義する。
• 2段階のファインチューニング: 抽象サブグラフ上の検索 (RAS) を、実際の抽象ノード信号とのKL発散を用いて; 検索モデルから初期化された取得したサブグラフ上で推論 (RRS) を、実際のテール信号とのKL発散を用いてファインチューニング。
• PLM パラメータを共有し、固定または段階別に更新できる統合最適化（QU 対 QU,RU 版）.

実験結果

リサーチクエスチョン

• RQ1 統一モデルアーキテクチャは、個別段階アプローチと比べて複数ホップKGQAの検索と推論の両方を改善できるか？
• RQ2 検索と推論の間でパラメータを共有し、関連情報を転送することは、全体的なQA性能を向上させるか？
• RQ3 抽象サブグラフは、精度を犠牲にせず、検索と推論段階のスケール差を効果的に埋められるか？
• RQ4 Question–Relation Matching の事前学習とその後のファインチューニングは、両段階にとって効率的かつ効果的な学習を生み出すか？

主な発見

モデル	WebQSP Hits@1	WebQSP F1	CWQ Hits@1	CWQ F1	MetaQA-1 Hits@1	MetaQA-2 Hits@1	MetaQA-3 Hits@1
KV-Mem	46.7	34.5	18.4	15.7	96.2	82.7	48.9
GraftNet	66.4	60.4	36.8	32.7	97.0	94.8	77.7
PullNet	68.1	-	45.9	-	97.0	99.9	91.4
EmbedKGQA	66.6	-	-	-	97.5	98.8	94.8
NSM	68.7	62.8	47.6	42.4	97.1	99.9	98.9
TransferNet	71.4	-	48.6	-	97.5	100	100
SR+NSM	68.9	64.1	50.2	47.1	-	-	-
SR+NSM+E2E	69.5	64.1	49.3	46.3	-	-	-
UniKGQA	75.1	70.2	50.7	48.0	97.5	99.0	99.1
w QU	77.0	71.0	50.9	49.4	97.6	99.9	99.5
w QU,RU	77.2	72.2	51.2	49.0	98.0	99.9	99.9

• UniKGQA は WebQSP と CWQ でベースラインを上回り、Hits@1 で特に顕著な向上を示した。
• 検索評価では、同等のサブグラフサイズで学習済み検索がヒューリスティック法より回答のカバレッジを高めることを示した。
• アブレーション研究は、事前学習と初期化転送という2つの学習戦略の両方が有益であることを確認した。
• 質問のみの PLM エンコーダ更新は、質問とリレーションの両方を更新する場合と同等かそれ以上の性能を発揮し、効率性の利点を提供する。
• 統一アーキテクチャは、検索から推論への関連情報の効果的な転送を可能にし、最終的なQA指標を改善する。
• 2つのバリアント（w QU と w QU,RU）は、計算コストのトレードオフが異なるながら強力な性能を示す。