[논문 리뷰] Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction

Zhanqiu Zhang, Jianyu Cai외 2명|arXiv (Cornell University)|2019. 11. 21.

Advanced Graph Neural Networks참고 문헌 29인용 수 27

한 줄 요약

이 논문은 실수부와 허수부를 포함한 복소수 공간에서 원형 좌표계를 사용하여 개념 그래프의 의미적 계층을 명시적으로 모델링하는 새로운 지식 그래프 임베딩 모델인 HAKE를 제안한다. 여기서 반지름(모듈러스)는 계층 수준을, 각도(위상)는 동일한 수준의 엔티티를 구분한다. HAKE는 링크 예측 벤치마크에서 최신 기술(SOTA) 방법들을 뛰어넘으며, FB15k에서 H@10가 0.884에 도달하여 계층적 구조를 효과적으로 포착함을 입증한다.

ABSTRACT

Knowledge graph embedding, which aims to represent entities and relations as low dimensional vectors (or matrices, tensors, etc.), has been shown to be a powerful technique for predicting missing links in knowledge graphs. Existing knowledge graph embedding models mainly focus on modeling relation patterns such as symmetry/antisymmetry, inversion, and composition. However, many existing approaches fail to model semantic hierarchies, which are common in real-world applications. To address this challenge, we propose a novel knowledge graph embedding model -- namely, Hierarchy-Aware Knowledge Graph Embedding (HAKE) -- which maps entities into the polar coordinate system. HAKE is inspired by the fact that concentric circles in the polar coordinate system can naturally reflect the hierarchy. Specifically, the radial coordinate aims to model entities at different levels of the hierarchy, and entities with smaller radii are expected to be at higher levels; the angular coordinate aims to distinguish entities at the same level of the hierarchy, and these entities are expected to have roughly the same radii but different angles. Experiments demonstrate that HAKE can effectively model the semantic hierarchies in knowledge graphs, and significantly outperforms existing state-of-the-art methods on benchmark datasets for the link prediction task.

연구 동기 및 목표

• 기존 지식 그래프 임베딩 모델이 의미적 계층을 포착하는 데에 한계가 있음을 해결하기 위해.
• 외부 계층 주석이 필요 없이도 자동으로 계층적 구조를 모델링할 수 있는 방법을 개발하기 위해.
• 다른 계층 수준의 엔티티와 동일한 수준의 엔티티를 명시적으로 표현하여 링크 예측 성능을 향상시키기 위해.
• 원형 좌표계 표현(모듈러스와 위상)이 지식 그래프의 계층적 의미를 효과적으로 포착하는지 검증하기 위해.

제안 방법

• HAKE는 엔티티를 원형 좌표계로 매핑하며, 여기서 모듈러스(반지름 좌표)는 계층 수준을 인코딩한다. 더 작은 반지름은 더 높은 수준의 엔티티를 의미한다.
• 위상(각도 좌표)은 동일한 계층 수준에 있는 엔티티를 구분하며, 유사한 모듈러스 값을 유지하면서 서로 다른 각도를 할당한다.
• 모델은 복소수 공간에서 엔티티 및 관계 임베딩 간의 하다마르드 곱을 사용한 후, 모듈러스-위상 분해를 통해 계층적 정보와 관계적 정보를 분리한다.
• 성능 향상을 위해 학습 가능한 바이어스 항목을 도입하였으며, 특히 동일한 수준의 엔티티를 구분하는 데 효과적이다.
• 손실 함수는 음성 샘플링과 마진 기반 순위 목표를 조합하여 임베딩 공간을 최적화한다.
• 표준 링크 예측 데이터셋에서 경량 경량 최적화를 위해 확률적 경사 하강법을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 외부 계층 주석에 의존하지 않고도 지식 그래프 임베딩 모델이 의미적 계층을 효과적으로 포착할 수 있는가?
• RQ2 원형 좌표계에서 모듈러스와 위상을 사용하여 엔티티를 모델링할 경우, 기존 방법들과 비교해 링크 예측 성능이 어떻게 향상되는가?
• RQ3 모듈러스와 위상 구성 요소가 각각 계층적 의미를 모델링하는 데 얼마나 기여하는가?
• RQ4 HAKE에서 모듈러스와 위상의 조합이 다양한 벤치마크 데이터셋에서 일관된 성능 향상을 이끌어내는가?

주요 결과

• HAKE는 FB15k 데이터셋에서 H@10 점수 0.884를 기록하여 최고의 TKRL 변종(0.734)과 다른 SOTA 모델들을 크게 앞서며 뛰어난 성능을 보였다.
• 제거 실험 결과, 위상 구성 요소만 사용하는 pRotatE가 모듈러스 구성 요소보다 성능이 뛰어나지만, 두 구성 요소를 모두 포함한 전체 HAKE 모델이 가장 우수한 성능을 기록하였다.
• 바이어스 항목은 YAGO3-10 데이터셋에서 H@1 성능을 4.7% 향상시켜, 예측을 정밀하게 다듬는 데 효과적임을 입증하였다.
• 시각화 결과, HAKE는 임베딩 공간에서 명확한 동심원을 형성함으로써 계층 수준을 효과적으로 모델링하고 있음을 확인하였다.
• RotatE는 계층 수준을 구분하지 못하며, 엔티티 임베딩이 2차원 평면에 혼합되어 있는 반면, HAKE는 수준별로 엔티티를 명확히 분리하고 있었다.
• WN18RR에서 HAKE는 구조적인 반지름 및 각도 패턴을 통해 초의미어, 종속어 관계와 같은 계층적 관계를 효과적으로 시각화하였다.