[論文レビュー] Two Heads Are Better Than One: Integrating Knowledge from Knowledge Graphs and Large Language Models for Entity Alignment

Linyao Yang, Hongyang Chen+4 more|arXiv (Cornell University)|Jan 30, 2024

Data Quality and Management被引用数 4

ひとこと要約

本稿では、知識グラフ（KGs）からの構造的知識と大規模言語モデル（LLMs）からの意味的知識を統合することで、アライメント精度を向上させる、新しいエンティティアライメントフレームワークLLMEAを提案する。埋め込みベースの候補フィルタリングと、仮想同等エンティティ上で繰り返しマルチチョイスのLLM推論を組み合わせることで、特に10%のトレーニングシードでの低ショット設定でも最先端の性能を達成する。

ABSTRACT

Entity alignment, which is a prerequisite for creating a more comprehensive Knowledge Graph (KG), involves pinpointing equivalent entities across disparate KGs. Contemporary methods for entity alignment have predominantly utilized knowledge embedding models to procure entity embeddings that encapsulate various similarities-structural, relational, and attributive. These embeddings are then integrated through attention-based information fusion mechanisms. Despite this progress, effectively harnessing multifaceted information remains challenging due to inherent heterogeneity. Moreover, while Large Language Models (LLMs) have exhibited exceptional performance across diverse downstream tasks by implicitly capturing entity semantics, this implicit knowledge has yet to be exploited for entity alignment. In this study, we propose a Large Language Model-enhanced Entity Alignment framework (LLMEA), integrating structural knowledge from KGs with semantic knowledge from LLMs to enhance entity alignment. Specifically, LLMEA identifies candidate alignments for a given entity by considering both embedding similarities between entities across KGs and edit distances to a virtual equivalent entity. It then engages an LLM iteratively, posing multiple multi-choice questions to draw upon the LLM's inference capability. The final prediction of the equivalent entity is derived from the LLM's output. Experiments conducted on three public datasets reveal that LLMEA surpasses leading baseline models. Additional ablation studies underscore the efficacy of our proposed framework.

研究の動機と目的

• 知識グラフと大規模言語モデルからの異種知識を統合し、エンティティアライメントの精度を向上させる課題に対処すること。
• 表面的な名前を越えたエンティティの類似性を捉える、LLMsに内蔵された意味的知識を活用すること。
• 候補エンティティから同等のエンティティを推論することで、大規模なアライメントシードに依存するのを減らすこと。
• 低ショット設定でも頑健で、さまざまな既存のエンティティアライメント手法に適応可能なフレームワークを開発すること。
• 統一的で反復的な予測パイプラインにおいて、構造的KG情報とLLMsからの深い意味的推論を統合すること。

提案手法

• LLMEAは、構造的・名前的・関係的類似性を捉える低次元エンティティ埋め込みを学習するため、関係に注意を払うグラフアテンションネットワークを採用する。
• LLMの意味的知識を用いて、各ターゲットエンティティの仮想同等エンティティ表現を生成し、意味的基準として機能させる。
• 仮想同等エンティティとの埋め込み類似性および編集距離に基づいて候補エンティティをフィルタリングし、候補セットの品質を向上させる。
• 最終的なアライメント予測は、LLMに繰り返しマルチラウンドのマルチチョイス質問を提示することで行い、その推論能力を活用する。
• フレームワークはモジュール式に設計されており、候補エンティティを出力できる既存のあらゆるエンティティアライメント手法と統合可能である。
• プロンプト工学を用いてLLMに構造的な予測出力を導くが、非形式的または曖昧な応答の解析には課題が残る。

実験結果

リサーチクエスチョン

• RQ1 KGからの構造的知識とLLMからの意味的知識を統合することで、エンティティアライメント性能が著しく向上するか？
• RQ2 LLMから導出された仮想同等エンティティは、候補アライメントのフィルタリングと精錬にどの程度効果的か？
• RQ3 最小限のトレーニングシードでLLMが、低ショット設定におけるアライメント精度をどの程度向上できるか？
• RQ4 出力形式と信頼性の観点から、LLMをエンティティアライメントに活用するにあたり、主な課題は何か？
• RQ5 繰り返しマルチチョイスプロンプティング戦略は、単一ラウンド推論と比較して、最終予測精度をどの程度向上させるか？

主な発見

• LLMEAは、3つの公開データセットすべてで最先端のベースライン手法を常に上回り、優れたアライメント精度を示した。
• 10%の総アライメントシードでのHits@1性能が高く、低ショットシナリオにおける有効性が顕著に示された。
• アブレーションスタディにより、KG埋め込み部とLLMベースの推論部の両方が最終性能に顕著に寄与することが確認された。
• 他の手法がシード数が少ない場合に著しく性能を落とす中、本フレームワークはトレーニングシードの変動に頑健で、高い性能を維持した。
• 仮想同等エンティティとの編集距離の統合により、候補セットの品質が向上し、真の同等エンティティが含まれる可能性が高まった。
• 非構造的LLM出力の解析には課題があるものの、繰り返しマルチチョイスプロンプティング戦略により、高信頼度の選択に焦点を当てることで、正確な最終予測が可能になった。