[논문 리뷰] Multi-relational Poincaré Graph Embeddings

Ivana Balažević, Carl Allen외 1명|arXiv (Cornell University)|2019. 05. 23.

Advanced Graph Neural Networks참고 문헌 38인용 수 29

한 줄 요약

이 논문은 다중 관계적 Poincaré 그래프 임베딩 모델인 MuRP를 제안한다. 이 모델은 멜로비우스 행렬-벡터 곱셈과 멜로비우스 덧셈을 사용하여 비유클리드 공간에서 관계별 변환을 학습한다. 이는 다중 동시 계층을 더 잘 표현할 수 있는 비유클리드 공간의 특성 덕분에 계층적 WN18RR 데이터셋에서 링크 예측 작업에서 유클리드 모델과 최신 기술보다 뛰어난 성능을 보이며, 특히 낮은 차원에서 두각한다.

ABSTRACT

Hyperbolic embeddings have recently gained attention in machine learning due to their ability to represent hierarchical data more accurately and succinctly than their Euclidean analogues. However, multi-relational knowledge graphs often exhibit multiple simultaneous hierarchies, which current hyperbolic models do not capture. To address this, we propose a model that embeds multi-relational graph data in the Poincaré ball model of hyperbolic space. Our Multi-Relational Poincaré model (MuRP) learns relation-specific parameters to transform entity embeddings by Möbius matrix-vector multiplication and Möbius addition. Experiments on the hierarchical WN18RR knowledge graph show that our Poincaré embeddings outperform their Euclidean counterpart and existing embedding methods on the link prediction task, particularly at lower dimensionality.

연구 동기 및 목표

• 기존의 비유클리드 모델이 다중 동시 계층을 포괄하지 못하는 한계를 해결하기 위해.
• 계층적 구조를 유지하는 비유클리드 공간에서 관계별 임베딩을 학습하기 위한 이론적으로 탄탄한 방법을 개발하기 위해.
• 비유클리드 공간에서의 Poincaré 임베딩이 계층적 다중 관계 데이터에 대해 낮은 차원 설정에서 유클리드 모델을 능가할 수 있음을 입증하기 위해.
• 기하학적 및 표현적 성질을 분석하여 Poincaré 임베딩과 유클리드 임베딩을 비교하고, 수렴성과 영향 구역 역학을 포함한다.

제안 방법

• 모델은 계층적 데이터에 적합한 일정한 음의 곡률을 가지는 비유클리드 공간의 Poincaré 볼 모델을 사용하여 개체와 관계를 표현한다.
• 개체 임베딩의 관계별 변환을 학습하기 위해 멜로비우스 행렬-벡터 곱셈과 멜로비우스 덧셈을 적용한다.
• 각 관계는 변환 행렬과 바이어스 벡터와 연관되어 있으며, 이는 관계별로 별개의 계층적 조직을 가능하게 한다.
• 링크 가능성 예측을 위해 비유클리드 거리 기반 점수 함수를 사용하며, 확률 출력을 위해 시그모이드 활성화 함수를 적용한다.
• 임베딩 최적화는 Poincaré 다양체 위에서 리만 스티어지언 경사 하강법을 사용하여 수행된다.
• 각 개체의 영향 구역은 바이어스에 의해 정의되며, 더 큰 노름은 Poincaré 디스크 내에서 더 큰 반경을 의미한다.

실험 결과

연구 질문

• RQ1 다중 동시 계층을 가진 다중 관계 지식 그래프는 비유클리드 공간에서 효과적으로 표현될 수 있는가?
• RQ2 Poincaré 볼에서 멜로비우스 연산 기반의 이동 모델이 계층적 데이터의 링크 예측에서 유클리드 모델을 능가하는가?
• RQ3 Poincaré 임베딩의 차원 수가 유클리드 임베딩과 비교해 링크 예측 성능을 달성하는 데 어떻게 영향을 미치는가?
• RQ4 학습된 임베딩의 기하학적 행동, 특히 벡터 노름과 바이어스의 상관관계 및 진짜 양성과 가짜 양성 간의 공간적 분리 정도는 어떠한가?

주요 결과

• MuRP는 계층적 WN18RR 데이터셋에서 링크 예측 작업에서 최신 기술 수준의 성능을 달성하였으며, 유클리드 모델인 MuRE와 기존의 모델들을 모두 능가한다.
• WN18RR 데이터셋에서 MuRP는 'instance_hypernym' 관계에서 평균 역수 순위(MRR) 0.488을 기록하여 다음으로 우수한 방법을 뛰어넘었다.
• MuRP는 유클리드 모델과 동일한 성능를 달성하기 위해 훨씬 적은 차원을 요구하여, 계층적 데이터에 대해 비유클리드 기하학의 효율성을 입증한다.
• WN18RR에서의 모델의 가짜 양성은 대부분 실제 누락된 사실들(예: 말레이시아와 같은 국가들)이었으며, 이는 현재 평가 프로토콜이 신뢰할 수 없을 수 있음을 시사한다.
• 시각화 결과에 따르면, 디스크의 경계 근처에 더 많은 공간이 있기 때문에 Poincaré 임베딩이 진짜 양성과 가짜 음성 간의 분리를 더 효과적으로 수행한다.
• 임베딩 벡터의 노름과 바이어스 사이에 강한 상관관계가 관찰되었으며, 이는 원점에서 더 멀리 떨어진 개체일수록 더 큰 영향 구역을 가짐을 나타낸다.