[논문 리뷰] QuatDE: Dynamic Quaternion Embedding for Knowledge Graph Completion

Haipeng Gao, Kun Yang외 4명|arXiv (Cornell University)|2021. 05. 19.

Advanced Graph Neural Networks참고 문헌 27인용 수 8

한 줄 요약

QuatDE는 지식 그래프 완성에 대한 동적 허밀턴 수치 임베딩 모델을 제안하며, 허밀턴 곱을 활용해 실시간으로 엔티티 표현을 조정함으로써 관계별로 적응적인 매핑 벡터를 통해 특징 간 상호작용을 향상시킨다. QuatE 대비 WN18에서 평균 역수 순위(MR)를 26% 향상시키고, WN18RR에서 15% 향상시키며, 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

Knowledge graph embedding has been an active research topic for knowledge base completion (KGC), with progressive improvement from the initial TransE, TransH, RotatE et al to the current state-of-the-art QuatE. However, QuatE ignores the multi-faceted nature of the entity and the complexity of the relation, only using rigorous operation on quaternion space to capture the interaction between entitiy pair and relation, leaving opportunities for better knowledge representation which will finally help KGC. In this paper, we propose a novel model, QuatDE, with a dynamic mapping strategy to explicitly capture the variety of relational patterns and separate different semantic information of the entity, using transition vectors to adjust the point position of the entity embedding vectors in the quaternion space via Hamilton product, enhancing the feature interaction capability between elements of the triplet. Experiment results show QuatDE achieves state-of-the-art performance on three well-established knowledge graph completion benchmarks. In particular, the MR evaluation has relatively increased by 26% on WN18 and 15% on WN18RR, which proves the generalization of QuatDE.

연구 동기 및 목표

• 기존의 허밀턴 수치 기반 모델인 QuatE와 같이 표현 능력이 제한되고 특징 간 상호작용이 약한 문제를 해결하기 위해.
• 주어진 관계 유형(일对다, 다對일, 다對다 등)의 다양성을 명시적으로 모델링하기 위해 동적 엔티티 표현을 가능하게 하여.
• 허밀턴 수치 공간 내 동적 매핑 전략을 통해 엔티티와 관계 간의 의미적 분리와 상호작용을 향상시키기 위해.
• 특히 저차원 설정에서의 일반화 능력과 성능 향상을 향상시키기 위해.
• 허밀턴 수치 신경망과 동적 적응을 조합함으로써 지식 그래프 임베딩에서의 우수성을 입증하기 위해.

제안 방법

• 세 개의 추가 허밀턴 수치 벡터(주어진 엔티티 이동, 목적 엔티티 이동, 관계 이동 벡터)를 사용하는 동적 매핑 전략을 도입한다.
• 특정 관계와 역할(주어진 또는 목적)에 따라 허밀턴 곱을 적용하여 허밀턴 공간 내 엔티티 임베딩 위치를 동적으로 조정한다.
• 정적 허밀턴 수치 임베딩보다 더 효과적으로 삼중항 상호작용을 모델링하기 위해 동적 매핑을 통합한 스코어링 함수를 사용한다.
• 음성 샘플링과 마진 순위 기반 손실 함수를 활용하여 동적 표현을 최적화한다.
• 표현력과 일반화 능력을 향상시키기 위해 허밀턴 수치 신경망(QNN)과의 호환성을 확보한다.
• 다양성 분석을 위해 임베딩 차원을 50로 고정하였으며, QuatE 대비 파rameter 수를 줄였음에도 강력한 성능을 보였다.

실험 결과

연구 질문

• RQ1 허밀턴 공간 내 동적 매핑 전략이 지식 그래프 완성에서 엔티티와 관계의 표현을 향상시킬 수 있는가?
• RQ2 적응형 임베딩을 통해 관계 패턴(1대1, 1대다 등)을 명시적으로 모델링하면 일반화 능력과 성능 향상에 기여하는가?
• RQ3 동적 허밀턴 변환을 활용함으로써 파rameter 수가 적은 모델이 SOTA 성능을 달성할 수 있는가?
• RQ4 QuatE와 같은 정적 허밀턴 모델 대비 링크 예측 성능에서 동적 매핑 전략은 어떻게 비교되는가?
• RQ5 WN18, WN18RR, FB15K-237와 같은 다양한 지식 그래프 벤치마크에서 모델의 일반화 능력은 어느 정도인가?

주요 결과

• WN18에서 QuatDE는 QuatE 대비 평균 역수 순위(MR)를 26% 향상시켰으며, MR는 9.53에서 3.69로 감소하였다.
• WN18RR에서 QuatDE는 QuatE 대비 MR를 15% 향상시켰으며, /location/hud_county_place/place 관계에서 MR가 11.8에서 10.6으로 향상되었다.
• FB15K-237에서 1대1 관계의 Hit@10 점수는 0.91, n대n 관계의 Hit@10 점수는 0.88로 QuatE를 모든 관계 유형에서 능가하였다.
• 단지 50차원 임베딩만으로도 QuatDE는 Hit@10이 0.959를 기록하였으며, QuatE가 300차원에서 달성한 최적 성능 0.959를 초월하였다.
• 차원 분석 결과, QuatDE의 성능는 WN18에서 K=100 근처, FB15K-237에서 K=300 근처에서 안정화되며, 이 이상에서는 수익 감소 현상이 나타났다.
• 모델는 강력한 일반화 능력을 보였으며, 모든 벤치마크와 관계 유형에서 MRR 및 Hit@10이 QuatE를 지속적으로 능가하였다.