[논문 리뷰] Quaternion Knowledge Graph Embeddings

Shuai Zhang, Yi Tay외 2명|arXiv (Cornell University)|2019. 04. 23.

Advanced Graph Neural Networks참고 문헌 33인용 수 206

한 줄 요약

QuatE는 지식 그래프의 엔티티와 관계에 대해 사원수값 임베딩을 도입하여 하이퍼 복소수 공간에서 관계 회전을 가능하게 하고 대칭성, 반대칭성 및 반전을 포착하며 네 벤치마크에서 최첨단 성과를 달성한다.

ABSTRACT

In this work, we move beyond the traditional complex-valued representations, introducing more expressive hypercomplex representations to model entities and relations for knowledge graph embeddings. More specifically, quaternion embeddings, hypercomplex-valued embeddings with three imaginary components, are utilized to represent entities. Relations are modelled as rotations in the quaternion space. The advantages of the proposed approach are: (1) Latent inter-dependencies (between all components) are aptly captured with Hamilton product, encouraging a more compact interaction between entities and relations; (2) Quaternions enable expressive rotation in four-dimensional space and have more degree of freedom than rotation in complex plane; (3) The proposed framework is a generalization of ComplEx on hypercomplex space while offering better geometrical interpretations, concurrently satisfying the key desiderata of relational representation learning (i.e., modeling symmetry, anti-symmetry and inversion). Experimental results demonstrate that our method achieves state-of-the-art performance on four well-established knowledge graph completion benchmarks.

연구 동기 및 목표

• 복소수 값 표현을 넘어서 더 풍부한 하이퍼복소수 공간에서 엔티티와 관계를 모델링하는 것을 동기 부여한다.
• 관계 사원수를 통해 헤드 엔티티를 회전시키고 꼬리의 적합성을 평가하는 사원수 기반 점수 함수를 제안한다.
• 사원수 회전이 이전 모델보다 대칭성, 반대칭성 및 반전을 더 효과적으로 포착함을 입증한다.
• QuatE가 매개변수 효율성 면에서 경쟁력 있게 다수의 KG 완성 벤치마크에서 최첨단 성과를 달성함을 보여준다.

제안 방법

• 엔티티를 H^{N x k}의 사원수 임베딩 Q로 표현한다.
• 관계를 단위 사원수 임베딩 W_r을 H^{M x k}에 표현하고 축척 효과를 제거하도록 정규화한다.
• 헤드 엔티티를 단위 관계 사원수로 해밀토니안 곱을 이용해 회전시킨다: Q_h' = Q_h ⊗ W_r^{triangleleft}.
• 삼중항을 사원수 내적으로 점수화한다: φ(h,r,t) = Q_h' · Q_t.
• 관측된 양의 삼중항과 음의 삼중항에 대해 정규화된 로지스틱 손실로 학습하고 최적화에는 Adagrad를 사용한다.
• 사원수 네트워크에 맞춘 초기화 및 선택적 정규화/정규화 변형을 논의한다.

실험 결과

연구 질문

• RQ1 해밀토니안 곱 회전을 가진 사원수 값 임베딩이 표준 벤치마크에서 복소수 값 KG 임베딩을 능가할 수 있는가?
• RQ2 단위 사원수 정규화와 회전 사원수 형식이 관계의 대칭성, 반대칭성 및 반전을 모델링하는 데 향상시키는가?
• RQ3 QuatE가 데이터셋 전반에서 매개변수 효율성과 예측 정확도에서 최첨단 모델과 어떻게 비교되는가?
• RQ4 QuatE 구성이 고정된 합성 연산자 없이도 여러 관계 패턴을 포착할 만큼 충분히 유연한가?

주요 결과

• QuatE는 네 가지 KG 벤치마크(WN18, FB15K, WN18RR, FB15K-237)에서 최첨단 성과를 달성한다.
• 사원수 회전은 복소수 값 회전보다 더 풍부한 상호작용을 제공하여 대칭성, 반대칭성 및 반전의 모델링을 향상시킨다.
• 관계 사원수의 정규화는 매우 중요하며 정규화를 제거하면 성능이 저하된다.
• QuatE는 여러 기준선보다 적은 매개변수를 필요로 하면서도 강력한 성과를 내며, N3 및 reciprocal learning 변형은 일부 데이터셋에서 성능을 더욱 향상시킨다.
• 이 프레임워크는 ComplEx를 일반화하고 특정 단순화하에 DistMult로 감소할 수 있으며, Hermitian 곱을 넘어서는 기하학적 해석을 제공한다.