[논문 리뷰] Knowledge Graph Embedding: A Survey from the Perspective of Representation Spaces

Jiahang Cao, Jinyuan Fang외 2명|arXiv (Cornell University)|2022. 11. 07.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 표현 공간의 관점에서 지식 그래프 임bedding (KGE) 기법에 대한 체계적인 조사를 제시하며, 대수적, 기하학적, 분석적 세 가지 수학적 시각으로 모델을 분류한다. 기반 수학적 공간에 기반한 KGE 방법의 세밀한 분류를 수립하고, 링크 예측 및 지식 보완과 같은 작업에서의 성질과 성능을 분석하며, 특정 공간의 핵심 이점(예: 계층적 자료에 대한 쌍곡공간)을 규명하여 모델 설계 및 대규모 언어 모델과의 통합을 위한 새로운 연구 방향을 제시한다.

ABSTRACT

Knowledge graph embedding (KGE) is an increasingly popular technique that aims to represent entities and relations of knowledge graphs into low-dimensional semantic spaces for a wide spectrum of applications such as link prediction, knowledge reasoning and knowledge completion. In this paper, we provide a systematic review of existing KGE techniques based on representation spaces. Particularly, we build a fine-grained classification to categorise the models based on three mathematical perspectives of the representation spaces: (1) Algebraic perspective, (2) Geometric perspective, and (3) Analytical perspective. We introduce the rigorous definitions of fundamental mathematical spaces before diving into KGE models and their mathematical properties. We further discuss different KGE methods over the three categories, as well as summarise how spatial advantages work over different embedding needs. By collating the experimental results from downstream tasks, we also explore the advantages of mathematical space in different scenarios and the reasons behind them. We further state some promising research directions from a representation space perspective, with which we hope to inspire researchers to design their KGE models as well as their related applications with more consideration of their mathematical space properties.

연구 동기 및 목표

• 지식 그래프 임베딩(KGE) 기법을 그 기반 수학적 표현 공간에 기반해 종합적이고 체계적인 리뷰를 제공하는 것.
• 기본적인 수학적 공간에 대한 엄밀한 정의를 바탕으로, 대수적, 기하학적, 분석적 세 가지 수학적 시각에 따라 기존 KGE 모델을 분류하는 것.
• 다양한 표현 공간이 임베딩 품질, 스코어 함수, 최적화 및 링크 예측 및 지식 보완과 같은 작업에서의 최종 성능에 어떻게 영향을 미치는지 분석하는 것.
• 실험 결과를 바탕으로 특정 공간의 강점(예: 계층적 구조에 대한 쌍곡공간, 회전 관계에 대한 복소수 벡터 공간)을 규명하는 것.
• 향후 연구 방향으로는 효율적인 기하학적 임베딩, 합리적 최적화, 대규모 언어 모델과의 통합을 제안하는 것.

제안 방법

• 저자들은 유클리드, 쌍곡, 구면, 복소수 벡터, 리 군 공간과 같은 핵심 수학적 공간을 정의하고, KGE의 기초 표현 공간으로서의 역할을 제시한다.
• 수학적 구조와 성질에 기반해 KGE 모델을 세 가지 시각으로 분류한다: 대수적(예: TransE, RotatE), 기하학적(예: ATTH, Hyperbolic KGE), 분석적(예: TorusE, NODE 기반 FieldE).
• 각 시각에 대해 임베딩 공간의 수학적 성질(예: 곡률, 미분 가능성, 컴actness)과 그 모델 안정성 및 최적화에 미치는 영향을 분석한다.
• FB15k-237 및 YAGO3-10과 같은 벤치마크 데이터셋을 사용해 링크 예측 성능(예: MRR, Hits@10) 등의 지표를 통해 KGE 방법을 비교하고, 성능과 공간 특성 간의 연관성을 규명한다.
• 공간적 이점 평가를 위한 프레임워크를 제안하며, 계층적 지식 그래프에서 쌍곡공간을 사용하는 모델이 유클리드 기반 모델보다 뛰어난 성능을 보임을 보여준다.
• 향후 연구 방향으로는 하이브리드 곡률 모델, 에너지 효율적인 기하학적 학습, 강건한 훈련을 위한 분석적 최적화를 제안한다.

실험 결과

연구 질문

• RQ1 유클리드, 쌍곡, 구면, 복소수, 리 군과 같은 다양한 수학적 표현 공간은 지식 그래프 임베딩 모델의 성능과 성질에 어떻게 영향을 미치는가?
• RQ2 이 공간들의 핵심 수학적 성질(예: 곡률, 미분 가능성, 컴actness)은 무엇이며, 모델 안정성, 최적화, 일반화에 어떻게 영향을 미치는가?
• RQ3 왜 쌍곡기반 모델이 계층적 구조를 더 잘 포착하는가? 이를 뒷받침하는 실험적 증거는 무엇인가?
• RQ4 수렴성과 미분 가능성과 같은 분석적 성질은 어떻게 활용되어 더 신뢰성 있고 효율적인 KGE 모델을 설계하는 데 기여하는가?
• RQ5 KGE와 대규모 언어 모델을 통합하기 위한 유망한 연구 방향은 무엇이며, 수학적 공간 성질은 이를 어떻게 이끌 수 있는가?

주요 결과

• ATTH 및 Hyperbolic KGE와 같은 쌍곡공간 기반 모델은 계층적 지식 그래프에서 뛰어난 성능을 보이며, 유클리드 기반 모델 대비 더 높은 MRR 및 Hits@10 점수를 기록한다.
• RotatE와 같은 복소수 벡터 공간 모델은 회전 및 대칭적인 관계 패턴을 효과적으로 포착하여, 역전이 및 대칭성을 포함한 관계에서 TransE와 같은 이동 기반 모델을 능가한다.
• TorusE와 같은 컴팩트 리 군을 사용하는 모델은 공간의 내재된 기하학적 성질 덕분에 명시적 정규화 없이도 더 나은 수렴성과 안정성을 달성한다.
• Neural ODE 기반 모델인 FieldE는 유클리드, 파incare, 쌍곡형, 구면과 같은 다양한 기하학적 구조를 연속적이고 분석적으로 표현할 수 있으며, 이는 분석적 시각이 기하학적 접근을 통합하는 데 잠재력을 지닌다는 것을 보여준다.
• 하이브리드 곡률 및 기하학적 상호작용 KGE 모델(예: Wang 등 2021, Cao 등 2022)은 혼합된 구조를 가진 복잡한 지식 그래프에서 더 높은 표현력으로 성능 향상을 보이며, 더 유연한 기하학적 모델링을 위한 길을 제시한다.
• 세그먼티드 임베딩(Peng 등 2021) 및 저파rameter 설계(예: RotH)와 같은 효율적인 최적화 방법은 훈련 비용을 줄이면서도 성능을 유지함으로써, 확장 가능한 KGE에서 분석적 최적화의 중요성을 부각시킨다.