[논문 리뷰] Two Heads Are Better Than One: Integrating Knowledge from Knowledge Graphs and Large Language Models for Entity Alignment

Linyao Yang, Hongyang Chen외 4명|arXiv (Cornell University)|2024. 01. 30.

Data Quality and Management인용 수 4

한 줄 요약

이 논문은 지식 그래프(KGs)의 구조적 지식과 대규모 언어 모델(LLMs)의 의미적 지식을 통합하여 정합성 정확도를 향상시키는 새로운 엔티티 정합 프레임워크인 LLMEA를 제안한다. 임베딩 기반 후보 필터링과 가상 등가 엔티티에 대한 반복적 다중 선택 LLM 추론을 결합함으로써, 특히 10%의 훈련 시드만으로도 성능을 낼 수 있는 저샷 설정에서 최신 기술을 초월하는 성능을 달성한다.

ABSTRACT

Entity alignment, which is a prerequisite for creating a more comprehensive Knowledge Graph (KG), involves pinpointing equivalent entities across disparate KGs. Contemporary methods for entity alignment have predominantly utilized knowledge embedding models to procure entity embeddings that encapsulate various similarities-structural, relational, and attributive. These embeddings are then integrated through attention-based information fusion mechanisms. Despite this progress, effectively harnessing multifaceted information remains challenging due to inherent heterogeneity. Moreover, while Large Language Models (LLMs) have exhibited exceptional performance across diverse downstream tasks by implicitly capturing entity semantics, this implicit knowledge has yet to be exploited for entity alignment. In this study, we propose a Large Language Model-enhanced Entity Alignment framework (LLMEA), integrating structural knowledge from KGs with semantic knowledge from LLMs to enhance entity alignment. Specifically, LLMEA identifies candidate alignments for a given entity by considering both embedding similarities between entities across KGs and edit distances to a virtual equivalent entity. It then engages an LLM iteratively, posing multiple multi-choice questions to draw upon the LLM's inference capability. The final prediction of the equivalent entity is derived from the LLM's output. Experiments conducted on three public datasets reveal that LLMEA surpasses leading baseline models. Additional ablation studies underscore the efficacy of our proposed framework.

연구 동기 및 목표

• 지식 그래프와 대규모 언어 모델에서 유사하지 않은 지식를 융합하여 엔티티 정합을 향상시키는 도전 과제를 해결하기 위해.
• 표면적인 이름을 초월하여 엔티티 유사성을 포착하는 LLM 내부의 암묵적 의미 지식을 활용하기 위해.
• 후보 엔티티 집합에서 LLM을 통해 등가 엔티티를 추론함으로써 대규모 정합 시드에 대한 의존도를 줄이기 위해.
• 저샷 설정에서 안정적이고 다양한 기존 엔티티 정합 방법에 쉽게 통합 가능한 프레임워크를 개발하기 위해.
• 통합된 반복 예측 파이프라인에서 구조적 KG 정보와 LLM의 깊이 있는 의미적 추론을 융합하기 위해.

제안 방법

• LLMEA는 구조적, 이름, 관계 유사성을 모두 반영하는 저차원 엔티티 임베딩를 학습하기 위해 관계 인식 그래프 어텐션 네트워크를 사용한다.
• LLM의 의미 지식을 활용하여 각 대상 엔티티에 대해 가상 등가 엔티티 표현을 생성하며, 이는 의미적 기준점으로 기능한다.
• 후보 엔티티는 가상 등가 엔티티와의 임베딩 유사도 및 에디트 거리 기반으로 필터링되어 후보 집합의 품질을 향상시킨다.
• 최종 정합 예측은 LLM에 반복적으로 다중 선택 질문을 제시하여 수행되며, 이는 LLM의 추론 능력을 활용한다.
• 모듈러 구조로 설계되어 기존 엔티티 정합 방법이 후보 엔티티를 생성할 수 있는 경우에 어떤 방법과도 통합 가능하다.
• 프롬프트 엔지니어링을 통해 LLM이 구조화된 예측을 출력하도록 유도하지만, 비구조화되거나 모호한 응답을 해석하는 데 도전 과제가 남아 있다.

실험 결과

연구 질문

• RQ1 KG의 구조적 지식과 LLM의 의미적 지식을 융합함으로써 엔티티 정합 성능을 크게 향상시킬 수 있는가?
• RQ2 LLM에서 유도된 가상 등가 엔티티가 후보 정합을 필터링하고 정밀하게 다듬는 데 얼마나 효과적인가?
• RQ3 최소한의 훈련 시드로 LLM이 저샷 설정에서 정합 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 출력 형식과 신뢰성 측면에서 LLM을 엔티티 정합에 활용할 때의 주요 과제는 무엇인가?
• RQ5 단일 라운드 추론 대비 반복적 다중 선택 프롬프팅 전략이 최종 예측 정확도를 어떻게 향상시키는가?

주요 결과

• LLMEA는 모든 세 개인공용 데이터셋에서 최신 기술 기반 방법을 일관되게 능가하며, 뛰어난 정합 정확도를 보였다.
• 단지 전체 정합 시드의 10%만으로도 높은 Hits@1 성능을 달성하여 저샷 시나리오에서의 효과성을 입증했다.
• 제거 실험을 통해 KG 임베딩 구성요소와 LLM 기반 추론 구성요소가 최종 성능에 기여하는 바가 크다는 것이 확인되었다.
• 기존 방법이 시드 수가 줄어들면 급격히 성능이 떨어지는 데 비해, 이 프레임워크는 훈련 시드의 변동에 대해 강건하여 높은 성능 유지를 보였다.
• 가상 등가 엔티티와의 에디트 거리 통합은 후보 집합의 품질을 향상시켜 진짜 등가 엔티티를 포함할 가능성을 높였다.
• 비구조화된 LLM 출력을 해석하는 데 어려움이 있음에도 불구하고, 반복적 다중 선택 프롬프팅 전략은 높은 신뢰도 선택에 집중함으로써 정확한 최종 예측을 가능하게 했다.