[논문 리뷰] DensE: An Enhanced Non-Abelian Group Representation for Knowledge Graph Embedding.

H. Lu, Hailin Hu|arXiv (Cornell University)|2020. 08. 11.

Advanced Graph Neural Networks참고 문헌 19인용 수 11

한 줄 요약

DensE는 지식 그래프 임베딩의 새로운 방법을 제안하며, RotatE를 개선하여 3차원 유클리드 공간에서 관계를 SO(3) 회전 및 스케일링 연산자로 모델링함으로써 비가환성, 엔티티에 의존하는, 스케일 적응형 복합 관계를 가능하게 한다. 링크 예측에서 특히 복잡한 복합 관계에 대해 최신 기술 수준의 성능을 달성하며, 모델 복잡도는 낮추고 기하학적 해석 가능성은 유지한다.

ABSTRACT

Capturing the composition patterns of relations is a vital task in knowledge graph completion. It also serves as a fundamental step towards multi-hop reasoning over learned knowledge. Previously, rotation-based translational methods, e.g., RotatE, have been developed to model composite relations using the product of a series of complex-valued diagonal matrices. However, RotatE makes several oversimplified assumptions on the composition patterns, forcing the relations to be commutative, independent from entities and fixed in scale. To tackle this problem, we have developed a novel knowledge graph embedding method, named DensE, to provide sufficient modeling capacity for complex composition patterns. In particular, our method decomposes each relation into an SO(3) group-based rotation operator and a scaling operator in the three dimensional (3-D) Euclidean space. The advantages of our method are twofold: (1) For composite relations, the corresponding diagonal relation matrices can be non-commutative and related with entity embeddings; (2) It extends the concept of RotatE to a more expressive setting with lower model complexity and preserves the direct geometrical interpretations, which reveals how relations with distinct patterns (i.e., symmetry/anti-symmetry, inversion and composition) are modeled. Experimental results on multiple benchmark knowledge graphs show that DensE outperforms the current state-of-the-art models for missing link prediction, especially on composite relations.

연구 동기 및 목표

• 복합 관계 조합 패턴을 모델링하는 데 있어 RotatE의 한계를 해결하기 위해.
• RotatE의 과도하게 단순화된 가정(예: 가환성, 고정 스케일, 엔티티와의 독립성)을 완화하기 위해.
• 지식 그래프 내 복합 관계를 위한 더 표현력 있고 효율적인 표현을 개발하기 위해.
• 복소수 값의 회전을 넘어서 모델링 능력을 확장하면서도 기하학적 해석 가능성은 유지하기 위해.
• 정확히 대칭성, 반대칭성, 역전, 조합 패턴을 포착함으로써 다단계 추론 성능을 향상시키기 위해.

제안 방법

• DensE는 각 관계를 3차원 유클리드 공간 내 SO(3) 회전 연산자와 스케일링 연산자로 분해한다.
• 이 방법은 복합 관계를 회전 행렬과 스케일링 행렬의 곱으로 모델링하여 비가환성을 가능하게 한다.
• 엔티티 임베딩을 관계 행렬에 통합함으로써 조합 패턴을 엔티티에 따라 달라지게 한다.
• 스케일링 구성 요소는 관계의 크기가 변할 수 있도록 해, RotatE의 고정 스케일 제약을 극복한다.
• 관계를 3차원 회전 및 스케일링 프레임워크에 임bedding함으로써 직접적인 기하학적 해석을 유지한다.
• 엔티티별 관계 연산자 간의 행렬 곱셈을 통해 복합 관계 모델링을 달성하며, 이로 인해 해석 가능성은 그대로 유지된다.

실험 결과

연구 질문

• RQ1 3차원 유클리드 공간 표현이 복소수 값 방법보다 비가환성 복합 관계를 더 효과적으로 모델링할 수 있는가?
• RQ2 엔티티에 의존하는 관계 행렬을 통합함으로써 복합 관계 모델링이 어떻게 향상되는가?
• RQ3 스케일링을 포함함으로써 복합 관계 예측 성능 향상은 어느 정도 이루어지는가?
• RQ4 제안된 방법은 RotatE를 초월하는 표현력 증가와 함께 기하학적 해석 가능성도 유지하는가?
• RQ5 DensE는 최신 기술 수준의 모델들과 비교해 다단계 추론 벤치마크에서 어떻게 성능을 내는가?

주요 결과

• DensE는 여러 벤치마크 지식 그래프에서 누락 링크 예측에서 최신 기술 수준의 모델들을 능가한다.
• 특히 비가환성 또는 스케일 변화 패턴을 포함한 복합 관계에서 뛰어난 성능을 달성한다.
• 예측 정확도 향상과 함께 다른 표현력 있는 모델들보다 낮은 모델 복잡도를 유지한다.
• 관계를 3차원 회전과 스케일링으로 해석함으로써 대칭성, 반대칭성, 역전 행동에 대한 명확한 통찰을 제공한다.
• 엔티티에 의존하는 관계 행렬 통합은 맥락 민감한 관계 조합의 더 정확한 모델링을 가능하게 한다.
• 실증 결과는 확장된 모델링 능력이 복잡한 관계 패턴에 대해 측정 가능한 성능 향상으로 이어짐을 확인한다.