[論文レビュー] Enhancing Multi-Hop Knowledge Graph Reasoning through Reward Shaping Techniques

Chen Li, Haotian Zheng+6 more|arXiv (Cornell University)|Mar 9, 2024

Advanced Graph Neural Networks被引用数 5

ひとこと要約

この論文は、 sparse な知識グラフに対する転移学習とプロンプト/BERTベースのアプローチを用いて、報酬形状付けを強化学習ベースの多跳知識グラフ推論の性能向上に適用し、UMLSで評価しています。

ABSTRACT

In the realm of computational knowledge representation, Knowledge Graph Reasoning (KG-R) stands at the forefront of facilitating sophisticated inferential capabilities across multifarious domains. The quintessence of this research elucidates the employment of reinforcement learning (RL) strategies, notably the REINFORCE algorithm, to navigate the intricacies inherent in multi-hop KG-R. This investigation critically addresses the prevalent challenges introduced by the inherent incompleteness of Knowledge Graphs (KGs), which frequently results in erroneous inferential outcomes, manifesting as both false negatives and misleading positives. By partitioning the Unified Medical Language System (UMLS) benchmark dataset into rich and sparse subsets, we investigate the efficacy of pre-trained BERT embeddings and Prompt Learning methodologies to refine the reward shaping process. This approach not only enhances the precision of multi-hop KG-R but also sets a new precedent for future research in the field, aiming to improve the robustness and accuracy of knowledge inference within complex KG frameworks. Our work contributes a novel perspective to the discourse on KG reasoning, offering a methodological advancement that aligns with the academic rigor and scholarly aspirations of the Natural journal, promising to invigorate further advancements in the realm of computational knowledge representation.

研究の動機と目的

• 知識グラフの不完全性が多跳KG推論を妨げることへの対処。
• 豊富なKGからSparse KGへ転移学習で訓練されたReward Shaperを導入。
• 報酬形状付けを強化するために、BERT文脈化とprompt学習を用いて報酬スコアを計算する。

提案手法

• KG推論をMDPとしてモデル化しREINFORCEベースの強化学習を適用する。
• KG埋め込み（ConvE, ComplEx, DistMult）を用いた報酬形状付けを導入し、より豊かな報酬を提供する。
• Split Multi-Hop KG Reasoningとして、UMLS KGを豊富なバージョンとスパース版に分割し転移学習効果を検討する。
• 豊富なKGでReward Shaperを事前訓練し、マスキングを介してスパース KG 上で微調整して疎性を模擬する。
• 端点エンティティの報酬スコアを計算するために、BERTベースの文脈化とプロンプト学習（T5ベースの prompts）を適用する。
• Hits@kとMRRを用いて予測尾部エンティティのランキング性能を評価する。

Figure 1: In an incomplete knowledge graph, missing connections, indicated by dashed lines, may be inferred from existing data, represented by solid lines, suggesting a latent relational structure awaiting extrapolation from the established informational framework.

実験結果

リサーチクエスチョン

• RQ1 報酬形状付けは不完全なKG上のRLベースの多跳KG推論を改善するか？
• RQ2 豊富なKGからスパースKGへの転移学習は報酬形状付けの有効性を高めるか？
• RQ3 どの埋め込み法または言語モデルベースの報酬形状付け手法がスパースKGへ最も一般化するか？

主な発見

Model	Hits@1	Hits@3	Hits@5	Hits@10	MRR
Sparse KG Policy Gradient	0.578	0.854	0.911	0.871	0.913
Rich KG Policy Gradient	0.625	0.974	0.845	0.969	0.734
Sparse KG Policy Gradient + Rich Reward Shaping	0.850	0.910	0.992	0.995	0.930
Sparse KG Policy Gradient + Sparse Reward Shaping	0.775	0.989	0.971	0.893	0.872
BERT Contextualization RS trained on Rich KG(ours)	0.810	0.877	0.865	0.785	0.944
Prompt Learning based RS trained on Rich KG (ours)	0.860	0.937	0.997	0.992	0.916

• 豊富なKGで訓練され、スパースKGへ適用されたプロンプト学習ベースの報酬形状付けは、ほとんどの指標で高い性能を示す。
• スパースKG設定においては、BERTベースの文脈化はプロンプトベースおよびConvEベースの報酬形状付けと比較して性能が劣る。
• 報酬形状付けは、ベースラインに比べてRLベースの多跳推論を大幅に改善し、いくつかのHits@kおよびMRR指標で明確な向上を示す。
• スパースKGで報酬シェーパーを訓練することは、豊富KGで訓練するよりも上回る可能性を示唆しており、過度に豊富な報酬モデルを用いた場合の過学習を示唆する。
• この手法は転移学習とNLP風の手法を活用することで、欠落したグラフにおけるKG推論の頑健性を高める可能性を示す。

Figure 2: Comprehensive framework for enhancing rewards through applying prompt-based learning.