[논문 리뷰] Rot-Pro: Modeling Transitivity by Projection in Knowledge Graph Embedding

Tengwei Song, Jie Luo외 1명|arXiv (Cornell University)|2021. 10. 27.

Advanced Graph Neural NetworksComputer Science참고 문헌 27인용 수 21

한 줄 요약

Rot-Pro는 관계 회전과 투영을 조합하여 전이성(Transitivity)을 명시적으로 모델링하는 지식 그래프 임베딩 모델을 제안한다. 기존 모델에서 다루지 못한 관계 패턴이었던 전이성을 이론적으로 증명하고 RotatE의 회전 메커니즘과 융합함으로써, Countries와 같은 전이성 데이터셋에서 링크 예측 성능이 최신 기준(SOTA)을 달성하며 YAGO3-10과 FB15k-237에서도 기존 모델을 능가한다.

ABSTRACT

Knowledge graph embedding models learn the representations of entities and relations in the knowledge graphs for predicting missing links (relations) between entities. Their effectiveness are deeply affected by the ability of modeling and inferring different relation patterns such as symmetry, asymmetry, inversion, composition and transitivity. Although existing models are already able to model many of these relations patterns, transitivity, a very common relation pattern, is still not been fully supported. In this paper, we first theoretically show that the transitive relations can be modeled with projections. We then propose the Rot-Pro model which combines the projection and relational rotation together. We prove that Rot-Pro can infer all the above relation patterns. Experimental results show that the proposed Rot-Pro model effectively learns the transitivity pattern and achieves the state-of-the-art results on the link prediction task in the datasets containing transitive relations.

연구 동기 및 목표

• 기존 지식 그래프 임베딩 모델이 전이성이라는 일반적이지만 다루지 못하는 관계 패턴을 효과적으로 모델링하지 못하는 격차를 보완하기 위해.
• 전이성 관계가 등급원형 변환(특히 투영)을 통해 모델링될 수 있음을 이론적으로 증명하기 위해.
• 다양한 관계 패턴(예: 전이성 포함)을 동시에 추론할 수 있는 통합 모델 Rot-Pro를 설계하기 위해.
• Rot-Pro가 전이성 관계를 효과적으로 학습하고, 전이성 관계를 포함한 링크 예측 벤치마크에서 최신 기준 성능을 달성하는지 경험적으로 검증하기 위해.
• 단위 각도 제약 조건 하에서 전이성 모델링과 대칭성 유지 간의 상호 갈등 관계를 탐구하기 위해.

제안 방법

• Rot-Pro는 복소 평면에서의 관계 회전과 투영 행렬을 통합하여 전이성을 모델링하며, 투영 행렬은 등급원형 성질을 가지며 대각선에 0과 1이 있는 대칭 행렬과 유사하도록 제약을 둔다.
• 모델은 관계별로 특화된 행렬을 통해 회전된 헤드 엔티티 표현을 투영하는 점수 함수를 사용하며, 이는 회전 역학과 투영 기반의 등급원형 성질을 통합한다.
• 적절한 전이성 모델링을 보장하기 위해 학습 중 관계 회전 단계를 (−π/2, π/2) 범위로 제한하여 π에서 발생할 수 있는 국소 최적점 회피를 유도한다.
• 모델의 표현 능력은 회전과 투영의 조합을 통해 대칭성, 비대칭성, 역전, 복합성, 전이성을 모두 이론적으로 지원함을 증명한다.
• 임베딩 공간은 (−π, π)의 범위로 초기화되지만, 제한된 단계 범위로 학습함으로써 전이성 체인 표현의 수렴성과 정확성이 향상된다.
• 모델은 음성 샘플링과 마진 기반 손실 함수를 사용해 학습되며, 단계 제약 조건이 다양한 관계 패턴에 미치는 영향을 평가하기 위해 아블레이션 연구가 수행된다.

실험 결과

연구 질문

• RQ1 지식 그래프에서 전이성 관계는 등급원형 투영 변환을 통해 효과적으로 모델링될 수 있는가?
• RQ2 투영과 관계 회전을 어떻게 조합하여 전이성 포함 다수의 관계 패턴을 동시에 모델링할 수 있는가?
• RQ3 관계 회전 단계를 (−π/2, π/2)로 제약할 경우, 모델이 전이성 체인을 학습하고 국소 최적점에서 벗어나는 데 미치는 영향은 어떠한가?
• RQ4 Rot-Pro는 전이성 관계를 포함한 링크 예측 작업에서 기존 모델보다 어느 정도 뛰어난 성능을 보이는가?
• RQ5 단위 각도 제약 조건을 적용할 경우, 전이성 모델링과 대칭성 유지 간의 상호 갈등은 어느 정도 존재하는가?

주요 결과

• Rot-Pro는 전이성 관계를 포함한 Countries 데이터셋에서 링크 예측 성능이 최신 기준(SOTA)을 달성하며, 기존 모델을 능가한다.
• 단계 제약 조건을 (−π/2, π/2)로 설정할 경우, 회전된 공간에서 엔티티 임베딩이 직선에 정렬되는 것으로 나타나, 전이성 체인이 성공적으로 학습되었음을 입증한다.
• 단계 제약 조건이 없을 경우, 모델은 종종 π에서 국소 최적점으로 수렴하여 전이성 삼중항, 예를 들어 (e1,r,e3)과 (e2,r,e4)의 체인 표현이 잘못됨을 보인다.
• (−π/2, π/2)로 제한된 관계 회전 단계는 전이성 관계의 정확한 표현 능력을 크게 향상시키며, 이는 시각화와 손실 곡선 분석을 통해 입증된다.
• 단계 제약 조건을 적용할 경우, 대칭 관계에 대한 모델 성능이 저하됨을 확인하여, 전이성 모델링과 대칭성 유지 간의 상호 갈등이 존재함을 시사한다.
• 아블레이션 연구는 단계 제약 조건이 전이성 모델링을 향상시키지만 대칭 관계 학습에 악영향을 미친다는 점을 확인하며, 향후 연구에서는 적응형 또는 어텐션 기반 메커니즘이 필요함을 시사한다.