[논문 리뷰] RotatE: Knowledge Graph Embedding by Relational Rotation in Complex Space

Zhiqing Sun, Zhihong Deng외 2명|arXiv (Cornell University)|2019. 02. 26.

Advanced Graph Neural Networks인용 수 771

한 줄 요약

RotatE 모델은 복소수 공간에서 관계를 회전으로 표현하여 대칭/비대칭, 역연산, 합성 패턴의 추론을 가능하게 하고, 여러 KG 벤치마크에서 최신 기술을 능가하며 자기적대적 음수 샘플링을 도입합니다.

ABSTRACT

We study the problem of learning representations of entities and relations in knowledge graphs for predicting missing links. The success of such a task heavily relies on the ability of modeling and inferring the patterns of (or between) the relations. In this paper, we present a new approach for knowledge graph embedding called RotatE, which is able to model and infer various relation patterns including: symmetry/antisymmetry, inversion, and composition. Specifically, the RotatE model defines each relation as a rotation from the source entity to the target entity in the complex vector space. In addition, we propose a novel self-adversarial negative sampling technique for efficiently and effectively training the RotatE model. Experimental results on multiple benchmark knowledge graphs show that the proposed RotatE model is not only scalable, but also able to infer and model various relation patterns and significantly outperform existing state-of-the-art models for link prediction.

연구 동기 및 목표

• 기존 KG 임베딩 모델이 모든 주요 관계 패턴(대칭/비대칭, 역연산, 합성)을 포착하는 한계를 설명하고 이를 극복하고자 한다.
• 복소수 벡터 공간에서 관계를 회전으로 모델링하도록 RotatE를 제시하고, 다중 관계 패턴을 추론할 수 있는 역량을 입증한다.
• RotatE가 대형 KG에 대해 확장 가능함을 보여주고 표준 벤치마크에서 최신 예측 모델보다 우수한 성능을 보임을 증명한다.

제안 방법

• 엔티티와 관계를 복소수 공간에 임베드하고 각 관계를 원소별 회전으로 정의한다: t = h ∘ r 이고 모든 i에 대해 |r_i| = 1.
• 트리플의 평가 점수로 거리 기반 점수 d_r(h,t) = || h ∘ r − t || 를 사용한다.
• 다음 샘플의 가중치를 f_r(h′,t′)에 비례하는 온도 기반 분포로 보정하여 RotatE의 학습을 효율화하는 자기적대적 음수 샘플링을 활용한다.
• RotatE가 대칭/비대칭, 역연산, 합성 패턴을 모델링할 수 있음을 보이는 이론적 보조정리들을 제공한다.
• Adam으로 학습하고 하이퍼파라미터를 그리드 탐색하며, 다수의 벤치마크에서 필터링 설정 하에 평가한다.

실험 결과

연구 질문

• RQ1 RotatE가 대칭/비대칭, 역연산, 합성 패턴을 동시에 모델링하고 추론할 수 있는가?
• RQ2 복소수 공간에서 임베딩을 회전시키는 것이 표준 KG 벤치마크에서 기존 모델들에 비해 연결 예측(link prediction)을 개선하는가?
• RQ3 자기적대적 음수 샘플링이 학습 효율성과 예측 성능에 어떤 영향을 미치는가?
• RQ4 FB15k-237, Countries와 같이 합성 패턴을 스트레스 테스트하도록 설계된 데이터셋에서 RotatE의 성능은 다른 모델과 비교해 어떤가?

주요 결과

• RotatE는 연결 예측에서 FB15k, WN18, FB15k-237, 및 WN18RR에서 최첨단 모델을 능가한다.
• 합성 패턴이 강조된 데이터셋(FB15k-237, WN18RR)에서 기본 모델 대비 상당히 개선되며, 합성 모델링에 모듈러스 정보가 중요하다.
• 자기적대적 음수 샘플링은 균일 샘플링 및 KBGAN 기반의 방법들보다 성능을 향상시킨다.
• 경향 분석 결과 RotatE가 r_i ∈ {±1}으로 대칭을 암시적으로 부호화할 수 있고, 켜진 역관계는 켜진 컨주게이트 임베딩으로 표현될 수 있음을 보이고 이론적 주장들을 지지한다.
• Countries 데이터셋에서 RotatE는 특히 더 긴 합성 패턴이 필요한 작업에서 경쟁력 있거나 우수한 결과를 달성한다.