[논문 리뷰] ExpressivE: A Spatio-Functional Embedding For Knowledge Graph Completion

Aleksandar Pavlović, Emanuel Sallinger|arXiv (Cornell University)|2022. 06. 08.

Advanced Graph Neural Networks인용 수 12

한 줄 요약

이 논문은 지식 그래프 임베딩 모델인 ExpressivE를 제안한다. 이 모델은 2차원 가상 트리플 공간 R^{2d} 내에서 실체를 점으로, 관계를 초평행육면체로 표현하여 추론 패턴의 완전한 표현성과 직관적인 기하학적 해석을 가능하게 한다. 일반 복합성과 계층을 동시에 포괄함으로써 WN18RR에서 최신 기준 성능을 달성하고, FB15k-237에서는 경쟁력 있는 성능을 보였다.

ABSTRACT

Knowledge graphs are inherently incomplete. Therefore substantial research has been directed toward knowledge graph completion (KGC), i.e., predicting missing triples from the information represented in the knowledge graph (KG). KG embedding models (KGEs) have yielded promising results for KGC, yet any current KGE is incapable of: (1) fully capturing vital inference patterns (e.g., composition), (2) capturing prominent patterns jointly (e.g., hierarchy and composition), and (3) providing an intuitive interpretation of captured patterns. In this work, we propose ExpressivE, a fully expressive spatio-functional KGE that solves all these challenges simultaneously. ExpressivE embeds pairs of entities as points and relations as hyper-parallelograms in the virtual triple space $\mathbb{R}^{2d}$. This model design allows ExpressivE not only to capture a rich set of inference patterns jointly but additionally to display any supported inference pattern through the spatial relation of hyper-parallelograms, offering an intuitive and consistent geometric interpretation of ExpressivE embeddings and their captured patterns. Experimental results on standard KGC benchmarks reveal that ExpressivE is competitive with state-of-the-art KGEs and even significantly outperforms them on WN18RR.

연구 동기 및 목표

• 기존 지식 그래프 임베딩 모델이 동시에 일반 복합성과 계층 패턴을 포괄하지 못하는 한계를 해결하기 위해.
• 고차원 공간 내의 공간적 관계를 통해 포착된 추론 패턴의 직관적인 기하학적 해석을 제공하는 KGE 모델을 개발하기 위해.
• 모든 표준 추론 패턴(일반 복합성 포함)을 지원함으로써 지식 그래프 보완에서 완전한 표현성을 달성하기 위해.
• 공간적 및 기능적 KGE의 장점을 결합하여 TransE나 RotatE와 같이 기능 중심 모델의 한계를 극복하는 모델을 설계하기 위해.

제안 방법

• ExpressivE는 실체 쌍을 점으로, 관계를 2d차원 가상 트리플 공간 R^{2d} 내의 초평행육면체로 표현하여 복잡한 추론 패턴을 공간적으로 표현한다.
• 모델은 초평행육면체 간 기하학적 관계를 기반으로 한 기능적 스코어링 함수를 사용하여 복합성 및 계층 관계를 정밀하게 모델링한다.
• 초평행육면체의 크기를 제어하기 위해 최소 분모 제약 조건 D_min을 도입하여 안정적이고 의미 있는 공간 표현을 보장한다.
• 모델은 자기 적대적 음성 샘플링을 활용하고 마진 기반 손실 함수를 통해 순위 성능을 최적화한다.
• 기하학적 제약 조건과 설계 선택의 영향을 분석하기 위해 다양한 변형(예: Functional, EqSlopes, NoCenter)을 지원한다.
• 학습률, 마진, 온도, 음성 샘플 수, D_min 등을 수작업으로 탐색하여 각 벤치마크에 최적의 설정을 선정한다.

실험 결과

연구 질문

• RQ1 기존 모델이 동시에 수행하지 못하는 일반 복합성과 계층 패턴을 지식 그래프 임베딩 모델이 동시에 포괄할 수 있는가?
• RQ2 2d차원 공간 내에서 초평행육면체의 공간적 구성이 복잡한 추론 패턴에 대해 직관적이고 일관된 기하학적 해석을 제공할 수 있는가?
• RQ3 모든 표준 추론 패턴(복합 정의 및 일반 복합성 포함)을 지원하는 완전히 표현 가능한 KGE를 설계하는 것이 가능한가?
• RQ4 RotatE와 같은 기능 중심 모델과 BoxE와 같은 공간 중심 모델에 비해 ExpressivE의 기하학적 설계는 성능 및 표현성 측면에서 어떻게 비교되는가?

주요 결과

• ExpressivE는 WN18RR 벤치마크에서 최신 기준 성능을 달성하여 필터링된 Hits@10과 Hits@3에서 기존 최신 기준 모델을 크게 앞서 간다.
• FB15k-237에서는 경쟁력 있는 성능을 기록하여 다양한 지식 그래프 구조에 대한 강력한 일반화 능력을 보였다.
• 모델은 완전히 표현 가능하며, 표 1에 나열된 모든 추론 패턴(일반 복합성 및 계층 포함)을 포괄할 수 있으며, 이는 이전 KGE가 동시에 수행하지 못한 바이다.
• 제거 분석 결과, 초평행육면체 설계와 D_min 제약 조건이 성능 향상과 기하학적 해석 가능성에 크게 기여하는 것으로 확인되었다.
• WN18RR에서 가장 뛰어난 성능을 보인 ExpressivE 변형은 필터링된 Hits@10가 98.7%를 기록하여 RotatE와 BoxE를 초월했다.
• 모델의 기하학적 해석은 일관되고 직관적이며, 초평행육면체 간의 공간적 관계가 직접적으로 그들이 나타내는 논리적 추론 패턴을 반영한다.