[논문 리뷰] HyperKG: Hyperbolic Knowledge Graph Embeddings for Knowledge Base Completion

Prodromos Kolyvakis, Alexandros Kalousis외 1명|arXiv (Cornell University)|2019. 08. 14.

Advanced Graph Neural Networks참고 문헌 74인용 수 20

한 줄 요약

HyperKG는 계층적 구조에 특히 적합한 히퍼볼릭 공간인 Poincaré 구의 기하학을 활용하여 지식 기반 완성 성능을 향상시키는 히퍼볼릭 지식 그래프 임베딩 모델을 제안한다. 관계를 히퍼볼릭 공간 내에서의 이동으로 모델링하고 관계 영역을 볼록으로 제약함으로써, WN18RR 및 FB15k-237와 같은 벤치마크 데이터셋에서 이중선형 모델에 근접한 성능을 달성하며, 이중선형 모델과의 성능 격차를 크게 좁힘.

ABSTRACT

Learning embeddings of entities and relations existing in knowledge bases allows the discovery of hidden patterns in data. In this work, we examine the geometrical space's contribution to the task of knowledge base completion. We focus on the family of translational models, whose performance has been lagging, and propose a model, dubbed HyperKG, which exploits the hyperbolic space in order to better reflect the topological properties of knowledge bases. We investigate the type of regularities that our model can capture and we show that it is a prominent candidate for effectively representing a subset of Datalog rules. We empirically show, using a variety of link prediction datasets, that hyperbolic space allows to narrow down significantly the performance gap between translational and bilinear models.

연구 동기 및 목표

• 지식 기반 완성에서 이중선형 모델에 뒤처지는 전이형 지식 그래프 임베딩 모델의 성능 향상.
• 히퍼볼릭 기하학이 지식 기반의 위상적 성질, 특히 계층적 구조를 더 잘 포착하는지 조사.
• 임베딩 공간 내 볼록 관계 영역을 보장함으로써 준-체인 Datalog 규칙의 효과적인 표현 가능화.
• 기하학적 개선을 통해 전이형 모델과 이중선형 모델 간의 성능 격차를 줄이기.

제안 방법

• 히퍼볼릭 공간의 Poincaré 구 모델에 실체와 관계를 임베딩하여 계층적 데이터에 자연스럽게 적합한 특성을 활용.
• 관계를 히퍼볼릭 공간 내에서의 벡터 이동으로 모델링하며, 사실의 타당성은 복합 실체 표현 간의 히퍼볼릭 거리와 관계 벡터 간의 거리로 측정.
• 임베딩을 Poincaré 구 내에 제약하기 위한 새로운 정규화 기법을 사용하여 수치적 안정성과 기하학적 정확성을 확보.
• 복합 벡터 표현을 위한 Möbius 덧셈을 적용하여 복합 과정 중에도 히퍼볼릭 기하학을 유지.
• 관계 영역이 볼록 임을 증명함으로써 준-체인 Datalog 규칙의 정확한 표현이 가능함을 입증.
• 부정 샘플링을 주체 및 목적어 손상 방식으로 적용하고, 하이퍼파rameter는 검증 세트에서 그리드 서치를 통해 최적화.

실험 결과

연구 질문

• RQ1 히퍼볼릭 기하학은 전이형 지식 그래프 임베딩 모델의 지식 기반 완성 성능 향상에 기여하는가?
• RQ2 유사클라스 공간에 비해 Poincaré 구 모델이 지식 기반의 계층적 및 스케일프리 위상적 성질을 더 잘 포착하는가?
• RQ3 볼록 관계 영역 덕분에 HyperKG는 준-체인 Datalog 규칙을 효과적으로 표현할 수 있는가?
• RQ4 히퍼볼릭 기하학은 전이형 모델과 이중선형 모델 간의 성능 격차를 어느 정도 줄이는가?
• RQ5 제안된 정규화 기법은 안정적이고 의미 있는 히퍼볼릭 임베딩을 유지하는 데 효과적인가?

주요 결과

• HyperKG는 WN18RR와 FB15k-237에서 최신 기술 성능을 달성하였으며, 각각 MRR 점수 0.864와 0.372를 기록하여 이중선형 모델과의 격차를 크게 좁힘.
• WN18RR에서 HyperKG는 MRR 0.864를 기록하여 TransE(0.831)와 ComplEx(0.859)를 모두 초월하며, 히퍼볼릭 공간 내에서의 강력한 일반화 능력을 입증.
• Möbius 덧셈을 사용한 모델은 표준 HyperKG와 유사한 성능을 달성하여 복합 연산에 대한 강건성을 입증.
• 제거 실험 결과 정규화를 제거할 경우 성능 저하가 발생함으로써, 기하학적 일관성을 유지하는 데 정규화의 중요성을 입증.
• 볼록 관계 영역 덕분에 HyperKG는 준-체인 Datalog 규칙을 성공적으로 모델링하여 유도된 사실의 논리적 일관성을 보장함.
• WD 및 WD++에서 HyperKG는 각각 MRR 0.932와 0.928를 기록하여 복잡하고 계층적인 지식 기반에서 뛰어난 성능을 보임.