[논문 리뷰] Orthogonal Relation Transforms with Graph Context Modeling for Knowledge Graph Embedding

Yun Tang, Jing Huang외 3명|arXiv (Cornell University)|2019. 11. 09.

Advanced Graph Neural Networks참고 문헌 35인용 수 9

한 줄 요약

이 논문은 지식 그래프의 링크 예측을 향상시키기 위해 그래프 컨텍스트 모델링을 통한 수직 변환 임bedding(OTE)을 제안한다. 특히 N-to-1, 1-to-N, N-to-N 관계와 같은 도전적인 관계 유형에서 성능 향상을 도모한다. RotatE를 고차원 수직 변환으로 확장하고, 들어오는 및 나가는 이웃 엔티티로부터 유도된 방향성 있는 노드 수준 컨텍스트를 통합함으로써, OTE는 FB15k-237 및 WN18RR에서 최신 기준 성능(SOTA)을 달성하며, RotatE를 초월하고 WN18RR에서 새로운 SOTA를 수립한다.

ABSTRACT

Translational distance-based knowledge graph embedding has shown progressive improvements on the link prediction task, from TransE to the latest state-of-the-art RotatE. However, N-1, 1-N and N-N predictions still remain challenging. In this work, we propose a novel translational distance-based approach for knowledge graph link prediction. The proposed method includes two-folds, first we extend the RotatE from 2D complex domain to high dimension space with orthogonal transforms to model relations for better modeling capacity. Second, the graph context is explicitly modeled via two directed context representations. These context representations are used as part of the distance scoring function to measure the plausibility of the triples during training and inference. The proposed approach effectively improves prediction accuracy on the difficult N-1, 1-N and N-N cases for knowledge graph link prediction task. The experimental results show that it achieves better performance on two benchmark data sets compared to the baseline RotatE, especially on data set (FB15k-237) with many high in-degree connection nodes.

연구 동기 및 목표

• 지식 그래프에서 N-to-1, 1-to-N, N-to-N와 같은 복잡한 관계를 예측하는 데 지속적으로 도전하는 문제를 해결하기 위해.
• RotatE의 2차원 복소수 공간 모델링을 고차원 수직 변환으로 확장하여 표현 능력을 향상시키기 위해.
• 이웃 엔티티와 관계로부터 파생된 구조적 그래프 컨텍스트를 스코어링 함수에 직접 통합하여 링크 예측 성능을 향상시키기 위해.
• 특히 고차수의 노드가 많은 FB15k-237에서 표준 벤치마크에서 최신 기준 성능(SOTA)을 달성하기 위해.

제안 방법

• OTE는 고차원 실수 벡터 공간에서 관계를 수직 변환으로 표현하여 RotatE의 2차원 복소수 회전 모델링을 일반화한다.
• 각 관계는 헤드 엔티티 임베딩에 적용되는 학습된 수직 행렬로 모델링된다.
• 엔티티 임베딩은 들어오는 이웃과 나가는 이웃에서 유도된 두 개의 방향성 컨텍스트 표현으로 보강된다.
• 컨텍스트 표현은 이웃 엔티티와 그들의 관계를 기반으로 한 어텐션 유사한 집계를 통해 계산되며, 이는 거리 스코어링 함수에 사용된다.
• 최종 스코어링 함수는 수직 변환 기반 거리와 컨텍스트 인식 정규화를 조합하여 타당성 추정을 향상시킨다.
• 모델은 음성 샘플링과 마진 기반 순위 손실을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 RotatE를 2차원 복소수 공간에서 고차원 수직 변환으로 확장함으로써 복잡한 관계에 대한 모델링 능력이 향상되는가?
• RQ2 들어오는 및 나가는 이웃에서 파생된 방향성 그래프 컨텍스트를 통합함으로써 링크 예측 성능, 특히 모호한 N-to-N, 1-to-N, N-to-1 관계에서 향상되는가?
• RQ3 제안된 OTE 모델이 FB15k-237 및 WN18RR와 같은 표준 벤치마크에서 RotatE 및 기타 최신 기준 모델과 비교해 어떻게 성능을 내는가?
• RQ4 OTE에 대해 최적의 부분 임베딩 차원은 무엇이며, 이는 성능과 확장성에 어떤 영향을 미치는가?
• RQ5 수직 변환과 컨텍스트 모델링이 성능 향상에 각각 얼마나 기여하는가?

주요 결과

• OTE는 WN18RR에서 새로운 SOTA MRR 0.476을 달성하여 이전의 SOTA 모델을 초월한다.
• FB15k-237에서 OTE는 MRR 0.432를 기록하며, RotatE-L(0.425)를 뛰어넘고 모든 관계 유형에서 일관된 향상을 보였다.
• 1-to-N 및 N-to-N 관계에서 Hit@10이 평균 2.1% 향상되었고, N-to-1 관계에서는 3.3% 향상되어 어려운 케이스에서 뚜렷한 성능 향상을 보였다.
• 부분 임베딩 차원을 2에서 20으로 증가시켰을 때 MRR는 0.327에서 0.355로 향상되었으며, FB15k-237에서 ds=20 근처에서 포화 상태에 도달했다.
• 수직 변환을 제거하거나 선형 변환으로 대체하면 MRR가 심각하게 저하되어 관계 패턴을 모델링하는 데 있어 그 중요성을 확인했다.
• OTE와 RotatE-L 양쪽에 그래프 컨텍스트를 추가하면 성능 향상이 이루어져 링크 예측에서 구조적 컨텍스트의 가치를 입증했다.