[論文レビュー] Path-Enhanced Multi-Relational Question Answering with Knowledge Graph Embeddings

Guanglin Niu, Yang Li+7 more|arXiv (Cornell University)|Oct 29, 2021

Advanced Graph Neural Networks参考文献 19被引用数 8

ひとこと要約

本稿では、カスタマイズ可能なパス表現メカニズムを用いて、マルチホップパスと質問埋め込みの両面的相関関係をモデル化することで、回答の正確性を向上させるパスおよび知識埋め込み強化型のマルチリレーション性KBQAモデルPKEEQAを提案する。このモデルは、特にスパースな知識グラフにおいて既存のベースラインを上回り、取得したパスを通じて説明可能な推論を提供する。

ABSTRACT

The multi-relational Knowledge Base Question Answering (KBQA) system performs multi-hop reasoning over the knowledge graph (KG) to achieve the answer. Recent approaches attempt to introduce the knowledge graph embedding (KGE) technique to handle the KG incompleteness but only consider the triple facts and neglect the significant semantic correlation between paths and multi-relational questions. In this paper, we propose a Path and Knowledge Embedding-Enhanced multi-relational Question Answering model (PKEEQA), which leverages multi-hop paths between entities in the KG to evaluate the ambipolar correlation between a path embedding and a multi-relational question embedding via a customizable path representation mechanism, benefiting for achieving more accurate answers from the perspective of both the triple facts and the extra paths. Experimental results illustrate that PKEEQA improves KBQA models' performance for multi-relational question answering with explainability to some extent derived from paths.

研究の動機と目的

• 知識グラフ埋め込みを用いているにもかかわらず、パスの意味論を無視する既存のKBQAモデルの限界を是正すること。
• マルチホップパス情報を利用することで、知識グラフのスパarsity状況下でもマルチリレーション性KBQAの回答正確性を向上させること。
• トピックエンティティから答えエンティティへのトレーサブルなパスを提供することにより、KBQAにおける説明可能性を実現すること。
• 再トレーニングを伴わずに既存のKBQAモデルを強化できる、プラグイン型の推論時モジュールを開発すること。
• パス埋め込みを質問埋め込みおよびエンティティ埋め込みと統合し、三元組の事実を越えた意味的相関関係をモデル化すること。

提案手法

• TransE、ComplEx、RotatEの3つのKGEモデルを用いて、事前学習による知識グラフ埋め込みの生成。
• 知識グラフ内においてトピックエンティティから候補となる答えエンティティへと至るマルチホップ関係パスの構築。
• 関係のシーケンスに基づいてパス埋め込みを生成する、カスタマイズ可能なパス表現メカニズムの設計。
• 学習されたインタラクション関数を用いて、パス埋め込みと質問埋め込みの間で両面的相関スコアを計算。
• 従来のKGEベースのスコアとともに、パスベースのスコアを最終的な答えスコア関数に統合。
• 推論時に、パスベーススコアと三元組ベーススコアの寄与度をバランスさせるための学習可能な重みパrameterを適用。

実験結果

リサーチクエスチョン

• RQ1 マルチホップパスの意味論を組み込むことで、三元組ベースの知識グラフ埋め込みを超えてマルチリレーション性KBQAの性能が向上するか？
• RQ2 カスタマイズ可能なパス表現メカニズムは、パスとマルチリレーション性質問との間の意味的相関関係をどれほど効果的に捉えられるか？
• RQ3 パス情報の統合により、トレーサブルな推論パスを提供することで、KBQAにおける説明可能性が向上するか？
• RQ4 特にリンクが欠落している状況下で、提案されたモデルは知識グラフのスパarsityに対してどの程度の性能を示すか？
• RQ5 パス表現と組み合わせた場合、どのKGEモデル（TransE、ComplEx、RotatE）が最も優れた性能を示すか？

主な発見

• PKEEQAはMetaQAで最先端の性能を達成し、完全なKGを用いた場合、1ホップで98.0%、2ホップで99.3%、3ホップで95.1%の正確性を達成した。
• 半分のKG（KG-Half）設定下でも、PKEEQAは1ホップで85.0%、2ホップで92.5%、3ホップで70.7%の正確性を示し、すべてのベースラインを上回った。
• アブレーションスタディにより、パス情報（-Path）と両面的相関メカニズム（-PT+PS）の両方が不可欠であることが確認され、いずれかを削除すると性能が低下した。
• ComplExと乗法的演算子を用いたパス表現を採用したPKEEQAが最も優れた結果を示し、TransEおよびRotatEを用いたモデルを上回った。
• モデルはトピックエンティティから答えエンティティへの実際のパスを取得・表示することで、説明可能性を提供し、ユーザーの信頼を高めた。
• PKEEQAは再トレーニングを伴わず、推論時のみで既存のKBQAモデルを強化できるプラグイン型モジュールであり、実用的な展開可能性を示した。