[論文レビュー] Type-aware Embeddings for Multi-Hop Reasoning over Knowledge Graphs

Zhiwei Hu, Víctor Gutiérrez-Basulto+4 more|arXiv (Cornell University)|May 2, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、タイプに配慮したメッセージパッシングを用いてエンティティおよび関係の表現にタイプ情報を統合することで、マルチホップ知識グラフ推論を向上させる、プラグアンドプレイ型モデルTempを提案する。エンティティおよび関係のタイプを活用して埋め込みを向上させることで、FB15k-237-V2、FB15k、NELLのデータセット上で4つの最先端のクエリ埋め込みモデルにおいて、一般化、帰納的推論、帰納的推論の性能が顕著に向上し、平均Hits@10の向上率が最大12.8%に達する。

ABSTRACT

Multi-hop reasoning over real-life knowledge graphs (KGs) is a highly challenging problem as traditional subgraph matching methods are not capable to deal with noise and missing information. To address this problem, it has been recently introduced a promising approach based on jointly embedding logical queries and KGs into a low-dimensional space to identify answer entities. However, existing proposals ignore critical semantic knowledge inherently available in KGs, such as type information. To leverage type information, we propose a novel TypE-aware Message Passing (TEMP) model, which enhances the entity and relation representations in queries, and simultaneously improves generalization, deductive and inductive reasoning. Remarkably, TEMP is a plug-and-play model that can be easily incorporated into existing embedding-based models to improve their performance. Extensive experiments on three real-world datasets demonstrate TEMP's effectiveness.

研究の動機と目的

• 訓練時とは異なるテスト時の未観測エンティティや関係が登場する帰納的推論設定において、不完全でノイズの多い知識グラフを扱う際の、既存のクエリ埋め込みモデルの限界を是正すること。
• 知識グラフに存在するが未活用に近い意味的タイプ情報（エンティティタイプや関係タイプなど）を活用し、クエリおよびエンティティ埋め込みの表現力を向上させること。
• 既存のクエリ埋め込みフレームワークに大規模なアーキテクチャの見直しを施さずに、容易に統合可能なモジュラーかつプラグアンドプレイ型のコンponentを設計すること。
• エンティティ、関係、およびそれらのタイプ間のペアワイズ依存関係をモデル化することで、一般化、帰納的推論、および帰納的推論の性能を向上させること。
• 異なるベンチマークデータセット、特にエンティティ集合が不一致する帰納的設定を含む、多様なデータセットにおいて一貫した性能向上を実証すること。

提案手法

• タイプに配慮したメッセージパッシング（Temp）フレームワークを提案し、その2つの主要構成要素としてタイプに配慮したエンティティ表現（TER）とタイプに配慮した関係表現（TRR）を含む。
• TERは、学習可能なアグレゲータを介してタイプ情報を集約することで、低次元空間におけるエンティティ埋め込みの表現を向上させる。
• TRRは、グローバルタイプグラフを構築することで関係表現を豊かにし、既存の関係およびエンティティタイプ情報を統合する。
• クエリパスにおけるアンカー・ノードと関係の間で双方向のメッセージパッシングを実装し、特に可変ノードが存在する状況でも推論の安定性を高める。
• GQE、Q2B、BetaE、LogicEなどの既存のクエリ埋め込みモデルに容易に統合可能な、プラグアンドプレイ型の設計を採用する。
• クエリとエンティティの表現が類似度を最大化するように最適化される共同埋め込み空間を用い、コントラスト学習またはランク損失を用いて最適化する。

実験結果

リサーチクエスチョン

• RQ1 エンティティおよび関係の表現にタイプ情報を統合することで、不完全な知識グラフにおけるマルチホップ推論性能が向上するか？
• RQ2 タイプに配慮した表現学習は、特に訓練時に未観測であったテスト時のエンティティや関係が登場する状況において、どの程度帰納的推論を向上させるか？
• RQ3 一般化および帰納的推論の観点から、提案されたTempモデルは最先端のクエリ埋め込みモデルと比較してどの程度優れているか？
• RQ4 エンティティタイプの強化と関係タイプの強化の、全体の推論性能に与える相対的寄与度はどの程度か？
• RQ5 Tempフレームワークは、多様な既存のクエリ埋め込みモデルに効果的かつ一貫してプラグインとして適用可能か？

主な発見

• GQE、Q2B、BetaE、LogicEの4つの最先端モデルにTempを統合した結果、FB15k-237-V2、FB15k、NELLの3つのベンチマークデータセットすべてで一貫した性能向上が得られた。
• FB15k-237-V2データセットでは、帰納的設定においてHits@10が最大12.8%向上し、優れた一般化および帰納的推論能力を示した。
• 関係のタイプ強化がエンティティのタイプ強化のみよりも常に優れており、両者の併用が最良の結果をもたらした。これは、長鎖推論において関係レベルのタイプモデリングがより効果的であることを示している。
• アブレーションスタディの結果、TERおよびTRRの両方のコンポonentを有効化した場合にMRRスコアが最大に上昇し、Q2Bデータセットでは両方を有効化した際のスコア上昇率が最大14.2%に達した。
• 帰納的推論において顕著な向上が得られ、ベースラインと比較して、FB15k-237-V2、FB15k、NELLの各データセットでHits@10がそれぞれ12.2%、6.8%、10.7%、12.8%向上した。
• 否定的クエリでは限定的な向上が得られたが、結果からタイプベースの表現は本質的に帰納的であると考えられ、再訓練なしに新しいエンティティや関係をタイプ埋め込みに基づいて処理できることが示唆された。