[논문 리뷰] QuatRE: Relation-Aware Quaternions for Knowledge Graph Embeddings

Dai Quoc Nguyen, Thanh Vu외 2명|arXiv (Cornell University)|2020. 09. 26.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

QuatRE는 허미트 곱을 사용하여 헤드 및 테일 엔티티에 대해 두 개의 관계 인지 힘의 허니톤 회전을 적용하여 엔티티-관계 상관관계를 향상시키는 새로운 지식 그래프 임베딩 모델을 제안한다. 이는 WN18RR 및 FB15k-237와 같은 표준 벤치마크에서 QuatE 및 RotatE를 포함한 이전 모델들을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

We propose a simple yet effective embedding model to learn quaternion embeddings for entities and relations in knowledge graphs. Our model aims to enhance correlations between head and tail entities given a relation within the Quaternion space with Hamilton product. The model achieves this goal by further associating each relation with two relation-aware rotations, which are used to rotate quaternion embeddings of the head and tail entities, respectively. Experimental results show that our proposed model produces state-of-the-art performances on well-known benchmark datasets for knowledge graph completion. Our code is available at: \url{https://github.com/daiquocnguyen/QuatRE}.

연구 동기 및 목표

• 지식 그래프에서 헤드 및 테일 엔티티 간 강한 상관관계를 포착하는 데에 기존의 초복소 임베딩 모델의 한계를 해결하기 위해.
• 크고 관계별로 특화된 행렬에 의존하는 번역 기반 모델의 계산 복잡도를 줄이기 위해.
• 헤드 및 테일 엔티티 양쪽에 대해 관계 인지 힘의 회전을 도입하여 허니톤 임베딩의 표현 능력을 향상시키기 위해.
• 다양한 관계 유형에 걸쳐 일반화 능력이 향상된 허니톤 공간을 활용한 지식 그래프 완성의 새로운 강력한 베이스라인을 수립하기 위해.

제안 방법

• QuatRE는 허미트 공간 내에서 정규화된 허니톤으로 엔티티와 관계를 모델링하며, 각 임베딩에 네 개의 실수 성분을 사용한다.
• 헤드 및 테일 엔티티 임베딩에 각각 $\boldsymbol{\mathsf{v}}_{r,1}$ 및 $\boldsymbol{\mathsf{v}}_{r,2}$라는 두 개의 관계 인지 힘의 회전 벡터를 허미트 곱을 통해 적용한다.
• 삼중 체크 점수는 회전된 헤드 임베딩과 회전된 테일 임베딩 간의 내적 곱으로 계산되며, 관계 임베딩이 스케일링 인자로 작용한다.
• 안정적인 최적화와 향상된 일반화를 위해 정규화된 허니톤 벡터 ($\boldsymbol{v}^{\triangleleft}$)를 사용한다.
• 허니톤 곱의 비가환성 특성을 활용하여 비대칭 관계를 보다 효과적으로 모델링한다.
• 모델은 관계당 두 개의 컴팩트한 회전 벡터로 변환 행렬을 대체함으로써, 파라미터가 많은 번역 행렬을 피함으로써 모델 복잡도를 감소시킨다.

실험 결과

연구 질문

• RQ1 관계 인지 힘의 허니톤 회전은 지식 그래프에서 헤드 및 테일 엔티티 간 상관관계 모델링을 향상시킬 수 있는가?
• RQ2 헤드 및 테일 엔티티에 대해 두 개의 별도 회전 벡터를 도입하면 대칭적 또는 단일 회전 접근 방식보다 성능 향상이 이루어지는가?
• RQ3 더 단순한 회전 기반 메커니즘이 복잡한 번역 기반 모델인 TransR을 능가하면서도 낮은 파라미터 수를 유지할 수 있는가?
• RQ4 기존 모델들과 비교해 QuatRE는 다양한 관계 유형(1-1, 1-M, M-1, M-M)에서 어떻게 성능을 내는가?
• RQ5 회전 메커니즘의 개별 구성 요소가 전체 성능에 얼마나 기여하는가?

주요 결과

• WN18RR 벤치마크에서 QuatRE는 MRR 0.493과 Hits@10 59.2를 기록하여 QuatE(MRR: 0.488) 및 기타 베이스라인을 능가하는 최신 기술 성능을 달성한다.
• FB15k-237에서 QuatRE는 MRR 0.367과 Hits@10 56.3을 기록하여 QuatE(MRR: 0.348) 및 기타 최신 모델을 능가한다.
• 'member_of_domain_region' 관계의 경우 QuatRE는 MRR를 QuatE의 0.193에서 0.364로 향상시켜 복잡한 다对다 관계에서 뚜렷한 성능 향상을 보였다.
• 제거 실험 결과, 두 회전 구성 요소($\boldsymbol{\mathsf{v}}_{r,1}$ 및 $\boldsymbol{\mathsf{v}}_{r,2}$)가 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능 저하가 발생한다.
• WN18RR에서의 시각화 결과, QuatRE는 특히 'synset_domain_topic_of' 및 'instance_hypernym'와 같은 관계에서 더 일관되고 상관관계가 높은 엔티티 클러스터를 학습하는 것으로 나타났다.
• 1-1, 1-M, M-1, M-M 모든 관계 유형에서 QuatRE는 강력한 일반화 능력을 유지하며, 다양한 관계 패턴에 대해 안정적인 성능을 보였다.