[논문 리뷰] Knowledge Graph Embedding: An Overview

Xiou Ge, Yun-Cheng Wang외 2명|arXiv (Cornell University)|2023. 09. 21.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 지식 그래프 보완을 위한 지식 그래프 임bedding (KGE) 모델에 대한 종합적인 개요를 제공하며, 거리 기반 및 의미 매칭 기반 방법에 중점을 둡니다. CompoundE와 CompoundE3D를 소개하여 이동, 회전 등의 기하 변환을 통합하여 복잡한 관계 패턴을 모델링하고, 사전 훈련된 언어 모델(PLM)을 KGE에 통합하여 링크 예측 성능을 향상시키는 최근의 추세를 강조합니다.

ABSTRACT

Many mathematical models have been leveraged to design embeddings for representing Knowledge Graph (KG) entities and relations for link prediction and many downstream tasks. These mathematically-inspired models are not only highly scalable for inference in large KGs, but also have many explainable advantages in modeling different relation patterns that can be validated through both formal proofs and empirical results. In this paper, we make a comprehensive overview of the current state of research in KG completion. In particular, we focus on two main branches of KG embedding (KGE) design: 1) distance-based methods and 2) semantic matching-based methods. We discover the connections between recently proposed models and present an underlying trend that might help researchers invent novel and more effective models. Next, we delve into CompoundE and CompoundE3D, which draw inspiration from 2D and 3D affine operations, respectively. They encompass a broad spectrum of techniques including distance-based and semantic-based methods. We will also discuss an emerging approach for KG completion which leverages pre-trained language models (PLMs) and textual descriptions of entities and relations and offer insights into the integration of KGE embedding methods with PLMs for KG completion.

연구 동기 및 목표

• 지식 그래프 보완을 위한 기존의 지식 그래프 임베딩(KGE) 모델에 대한 통합적이고 종합적인 개요를 제공하는 것.
• 이동, 회전, 스케일링 등의 기하 변환을 포함한 KGE 모델 설계의 핵심 추세를 식별하고 분석하는 것.
• KGE 방법과 사전 훈련된 언어 모델(PLM) 간의 상호보완성을 탐색하여 링크 예측 및 지식 추론 성능을 향상시키는 것.
• 미래의 KGE 연구를 지원하기 위해 벤치마크 데이터셋, 공개 지식 그래프, 랭킹을 포함한 핵심 연구 자원을 정리하는 것.
• 2차원 및 3차원 공간에서 애핀 연산을 통해 다양한 KGE 기법을 통합하는 CompoundE와 CompoundE3D의 소개를 통해 새로운 KGE 모델 개발을 자극하는 것.

제안 방법

• KGE 모델을 두 가지 주요 유형으로 분류: 거리 기반 방법(예: TransE, RotatE)과 의미 매칭 기반 방법(예: ComplEx, SimplE).
• 2차원 및 3차원 애핀 연산을 사용하여 이동, 회전, 스케일링, 반사 등의 다양한 기하 변환을 통합한 통합 프레임워크인 CompoundE와 CompoundE3D를 도입.
• 기하 변환의 관점에서 KGE 모델의 수학적 구조를 분석하여, 보기에 다소 다를 수 있는 모델들 간의 잠재적 연결 고리를 드러냄.
• 엔티티 및 관계의 텍스트 기반 설명을 활용하여 사전 훈련된 언어 모델(PLM)을 KGE에 통합하는 프레임워크를 제안하며, KEPLER, BERTRL, KGT5 등의 모델을 활용.
• SimKGC와 StAR와 같은 모델에서 대조 학습과 자기주도적 목적 함수를 활용하여 헤드 및 테일 엔티티 표현 간의 의미 매칭을 향상.
• T5 기반의 시퀀스 투 시퀀스 모델링을 통해 KGT5에서 자연어 신호를 이용한 엔드 투 엔드 링크 예측 및 질의 응답을 수행.

Figure 2: Illustration of Knowledge Panel from Google Search.

실험 결과

연구 질문

• RQ1 이동, 회전, 스케일링 등의 기하 변환이 지식 그래프 내 다양한 관계 패턴을 모델링하는 데 어떻게 기여하는가?
• RQ2 TransE, RotatE, ComplEx와 같은 보기에 다소 다른 KGE 모델들 간에 존재하는 기하학적이고 수학적인 구조적 연결 고리는 무엇인가?
• RQ3 사전 훈련된 언어 모델(PLM)을 KGE에 효과적으로 통합할 경우 링크 예측 및 추론 성능 향상에 얼마나 기여할 수 있는가?
• RQ4 CompoundE와 CompoundE3D와 같은 통합 프레임워크는 다양한 기하 연산을 통합함으로써 기존의 KGE 모델들을 어떻게 일반화하고 향상시키는가?
• RQ5 텍스트 기반 설명을 활용한 KGE 모델에서 의미 매칭을 향상시키기 위한 가장 효과적인 자기주도적 및 대조 학습 전략은 무엇인가?

주요 결과

• CompoundE와 CompoundE3D는 각각 2차원 및 3차원 애핀 변환을 통해 광범위한 KGE 모델을 통합하여 더 높은 모델링 능력을 입증함.
• 회전 및 이동 등의 기하 변환 통합은 대칭, 반대칭 및 기타 복잡한 관계 패턴을 효과적으로 모델링할 수 있도록 함.
• RotatE와 QuatE는 복소수 벡터 공간에서 관계를 회전으로 모델링함으로써 표준 벤치마크(FB15k-237 등)에서 최고 성능을 기록함.
• KEPLER와 BERTRL과 같은 PLM 기반 KGE 모델은 텍스트 기반 설명으로 임베딩를 초기화하고, 마스크된 언어 모델링 또는 관계 경로 모델링을 통해 미세조정함으로써 뛰어난 성능을 보임.
• KGT5는 자연어 프롬프트를 사용하는 T5 기반의 시퀀스 투 시퀀스 프레임워크를 통해 링크 예측 및 질의 응답 모두에서 경쟁적인 성능을 달성함.
• SimKGC와 StAR는 배치 내 및 자기 음성 샘플링을 활용한 대조 학습이 링크 예측 작업 성능을 크게 향상시키며, 특히 그래프의 구조적 인덕티브 바이어스와 결합할 경우 더욱 효과적임.

Figure 3: Connections between different knowledge graph embedding models