[논문 리뷰] CompoundE: Knowledge Graph Embedding with Translation, Rotation and Scaling Compound Operations

Xiou Ge, Yun-Cheng Wang외 2명|arXiv (Cornell University)|2022. 07. 12.

Brain Tumor Detection and Classification인용 수 6

한 줄 요약

CompoundE는 링크 예측 성능을 향상시키기 위해 번역, 회전, 스케일링 연산을 복합 기하 변환으로 통합하는 새로운 지식 그래프 임bedding 모델이다. 아핀 군 구조를 활용하여 기존 모델보다 훨씬 적은 파라미터로 FB15k-237, WN18RR, ogbl-wikikg2에서 최고 성능을 달성한다.

ABSTRACT

Translation, rotation, and scaling are three commonly used geometric manipulation operations in image processing. Besides, some of them are successfully used in developing effective knowledge graph embedding (KGE) models such as TransE and RotatE. Inspired by the synergy, we propose a new KGE model by leveraging all three operations in this work. Since translation, rotation, and scaling operations are cascaded to form a compound one, the new model is named CompoundE. By casting CompoundE in the framework of group theory, we show that quite a few scoring-function-based KGE models are special cases of CompoundE. CompoundE extends the simple distance-based relation to relation-dependent compound operations on head and/or tail entities. To demonstrate the effectiveness of CompoundE, we conduct experiments on three popular KG completion datasets. Experimental results show that CompoundE consistently achieves the state of-the-art performance.

연구 동기 및 목표

• 기존 KGE 모델이 1-N, N-1, N-N 유형과 같은 복잡한 관계를 다루는 데에 한계가 있음을 해결하기 위해.
• 메모리 제약으로 인해 모델 용량이 제한되는 저차원 임베딩 공간에서의 성능 향상을 위해.
• 번역 및 회전 연산을 일반화하여 다양한 KGE 모델을 하나의 기하학적 프레임워크로 통합하기 위해.
• 대규모 지식 그래프에서 성능을 유지하거나 향상시키면서도 모델 복잡성과 파라미터 수를 줄이기 위해.

제안 방법

• CompoundE는 벡터 공간에서 번역, 회전, 스케일링을 조합한 복합 연산으로 관계를 모델링한다.
• 매개변수화된 변환을 사용한다: $ \mathbf{t} \approx \mathbf{T} \cdot \mathbf{R}(\theta) \cdot \mathbf{S} \cdot \mathbf{h} $, 여기서 $ \mathbf{T} $, $ \mathbf{R}(\theta) $, $ \mathbf{S} $ 는 각각 번역, 회전(복소수를 통한), 스케일링 성분을 나타낸다.
• 군 이론에 기반하며, 아핀 군이 복잡한 관계를 모델링하는 데 수학적 보장을 제공한다.
• 두 개 이상의 엔티티에 대해 변환 적용 여부에 따라 세 가지 변종을 제안한다: CompoundE-Head, CompoundE-Tail, CompoundE-Full.
• 스코어링 함수는 변환된 헤드 엔티티와 테일 엔티티 간의 L1 또는 L2 거리 기반이다.
• 관계 임베딩은 엔티티 간에 공유되며, 음성 샘플링과 확률적 최적화를 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 번역, 회전, 스케일링 연산을 통합한 통합 KGE 모델이 기존 모델보다 더 높은 성능을 낼 수 있는가?
• RQ2 복합 기하 연산은 1-N, N-1, N-N 관계와 같은 복잡한 관계 유형의 모델링을 어떻게 향상시키는가?
• RQ3 복합 연산 프레임워크는 TransE 및 RotatE와 같은 기존 KGE 모델을 특수 케이스로 일반화할 수 있는가?
• RQ4 특히 대규모 지식 그래프에서, 훨씬 적은 파라미터로도 높은 성능을 유지할 수 있는가?
• RQ5 학습된 변환 성분(번역, 회전, 스케일링)이 실제 관계의 의미적 특성을 어떻게 반영하는가?

주요 결과

• FB15k-237에서 CompoundE는 Hits@10 0.783, MRR 0.394로 최고 성능을 기록하며 모든 베이스라인을 압도한다.
• WN18RR에서 CompoundE는 Hits@10 0.763, MRR 0.387을 기록하여 RotatE와 PairRE를 모두 뛰어넘는다.
• ogbl-wikikg2에서 CompoundE는 오직 250.3M 파라미터로 최고 성능을 달성하여 TransE 및 ComplEx와 같은 모델 대비 모델 크기를 최소 절반 이하로 줄였다.
• 관계 임베딩의 시각화 결과에서 '친구'와 같은 대칭 관계는 이론적 기대와 일치하게 거의 영이 되는 번역 및 스케일링 값을 보였다.
• 학습된 파라미터의 분포를 통해 N-N 관계는 특이한 스케일링 행동을 보임을 확인하여, 모델이 복잡한 관계를 효과적으로 모델링할 수 있음을 검증하였다.
• t-SNE 시각화 결과에서 엔티티 유형이 색상으로 부분적으로 분리되어 있음을 확인하여, CompoundE의 엔티티 임베딩이 의미적 구조를 잘 포착하고 있음을 보여주었다.