[논문 리뷰] Hyperbolic Hierarchical Knowledge Graph Embeddings for Link Prediction in Low Dimensions

Wenjie Zheng, Wenxue Wang외 2명|arXiv (Cornell University)|2022. 04. 28.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 학습 가능한 곡률과 히에르아르키컬 변환을 활용하여 저차원 히퍼볼릭 공간에서 의미적 계층을 모델링하는 하이퍼볼릭 지식 그래프 임베딩 모델인 HypHKGE를 제안한다. 어텐션 기반 곡률 학습과 깊이 기반 엔티티 수준 구분을 통해 트리 구조를 낮은 왜곡으로 유지함으로써, 특히 저차원에서 최신 기술보다 뛰어난 링크 예측 성능을 보인다.

ABSTRACT

Knowledge graph embeddings (KGE) have been validated as powerful methods for inferring missing links in knowledge graphs (KGs) that they typically map entities into Euclidean space and treat relations as transformations of entities. Recently, some Euclidean KGE methods have been enhanced to model semantic hierarchies commonly found in KGs, improving the performance of link prediction. To embed hierarchical data, hyperbolic space has emerged as a promising alternative to traditional Euclidean space, offering high fidelity and lower memory consumption. Unlike Euclidean, hyperbolic space provides countless curvatures to choose from. However, it is difficult for existing hyperbolic KGE methods to obtain the optimal curvature settings manually, thereby limiting their ability to effectively model semantic hierarchies. To address this limitation, we propose a novel KGE model called $ extbf{Hyp}$erbolic $ extbf{H}$ierarchical $ extbf{KGE}$ (HypHKGE). This model introduces attention-based learnable curvatures for hyperbolic space, which helps preserve rich semantic hierarchies. Furthermore, to utilize the preserved hierarchies for inferring missing links, we define hyperbolic hierarchical transformations based on the theory of hyperbolic geometry, including both inter-level and intra-level modeling. Experiments demonstrate the effectiveness of the proposed HypHKGE model on the three benchmark datasets (WN18RR, FB15K-237, and YAGO3-10). The source code will be publicly released at https://github.com/wjzheng96/HypHKGE.

연구 동기 및 목표

• 지식 그래프에 존재하는 풍부한 의미적 계층을 모델링하는 데에 기존의 하이퍼볼릭 KGE 방법의 한계를 해결하기 위해.
• 최소한의 왜곡으로 계층적 구조를 유지하는 저차원 하이퍼볼릭 임베딩을 가능하게 하기 위해.
• 의미 수준에 기반한 엔티티의 계층적 변환을 모델링하는 하이퍼볼릭 연산을 정의하기 위해.
• 유럽식 공간의 극좌표계와 달리 하이퍼볼릭 공간 내에서의 내재적 계층 표현의 부재를 보완하기 위해.

제안 방법

• 각 엔티티별로 적응적으로 곡률을 조정하여 계층적 구조의 임베딩 왜곡을 최소화할 수 있도록 하이퍼볼릭 공간에 어텐션 기반 학습 가능한 곡률을 도입한다.
• 원점에서의 하이퍼볼릭 거리를 깊이 측도로 정의하여 계층 수준을 구분하며, 거리가 클수록 계층에서 더 깊은 위치를 의미한다.
• 접선 공간에서의 회전 행렬을 사용한 하이퍼볼릭 내부 수준 변환을 제안하며, 이를 지수 함수를 통해 하이퍼볼릭 공간으로 옮겨 기하학적 일관성을 유지한다.
• 하이퍼볼릭 기하학을 위해 파오카레 볼 모델을 사용하며, 로그 및 지수 사상에 의해 유도된 하이퍼볼릭 임베딩을 통해 미분 가능 최적화를 가능하게 한다.
• 레벨 간 분리와 내부 수준 관계를 유지하는 데에 유의미한 영향을 주는 계층적 손실 함수를 적용한다.
• 이중 브랜치 아키텍처를 활용: 하나는 수준 인식 깊이 인코딩을 위해, 다른 하나는 접선 공간에서의 회전을 통한 내부 수준 관계 모델링을 위해.

실험 결과

연구 질문

• RQ1 하이퍼볼릭 공간에서의 학습 가능한 곡률이 의미적 계층을 최소한의 왜곡으로 효과적으로 유지할 수 있는가?
• RQ2 극좌표계나 유클리드 유사체계에 의존하지 않고 하이퍼볼릭 공간에서 계층적 구조를 어떻게 표현할 수 있는가?
• RQ3 저차원 설정에서 하이퍼볼릭 계층적 변환은 기존의 하이퍼볼릭 또는 유클리드 KGE 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ4 인터레벨 및 인트라레벨 관계를 동시에 모델링할 경우, 계층적 지식 그래프에서 링크 예측 성능은 어느 정도 향상되는가?

주요 결과

• HypHKGE는 강력한 계층적 구조를 가진 데이터셋에서 저차원 하이퍼볼릭 공간에서 링크 예측 작업에서 최신 기술을 달성한다.
• 특히 차원 수가 64 이하일 경우, 기존의 하이퍼볼릭 KGE 방법인 AttH 및 MuRP보다 뚜렷한 성능 향상을 보였다.
• 어텐션 기반 학습 가능한 곡률은 고정 곡률 기반 베이스라인 대비 계층적 구조의 보존을 향상시켜 임베딩 왜곡을 감소시켰다.
• 원점에서의 하이퍼볼릭 거리를 깊이 측도로 사용함으로써 계층 수준을 효과적으로 포착하여 정확한 인터레벨 관계 추론이 가능했다.
• 접선 공간에서의 회전을 통한 하이퍼볼릭 내부 수준 변환은 기하학적 일관성을 유지하며 대칭 및 반대칭 관계에 대한 성능 향상을 이끌었다.
• 실증 평가를 통해 HypHKGE는 YAGO3-1M 및 NELL-995를 포함한 다양한 벤치마크 데이터셋에서 잘 일반화되며, Hits@10 및 MRR 지표에서 일관된 성능 향상을 보였다.