[논문 리뷰] KGE-CL: Contrastive Learning of Tensor Decomposition Based Knowledge Graph Embeddings

Luo Zhiping, Wentao Xu외 4명|arXiv (Cornell University)|2021. 12. 09.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 텐서 분해 기반 지식 그래프 임베딩를 위한 대비 학습 프레임워크인 KGE-CL을 제안한다. 이는 서로 관련된 엔티티 또는 엔티티-관계 쌍 간의 의미적 유사도를 향상시킨다. 공통 엔티티나 관계를 공유하는 것을 바탕으로 양성 인스턴스를 구성하고 가중치가 부여된 대비 손실을 적용함으로써, WN18RR, FB15k-237, YAGO3-10에서 새로운 SOTA 성능을 달성하였으며, WN18RR에서 MRR 51.2% 및 Hits@1 46.8%를 기록하였다.

ABSTRACT

Learning the embeddings of knowledge graphs (KG) is vital in artificial intelligence, and can benefit various downstream applications, such as recommendation and question answering. In recent years, many research efforts have been proposed for knowledge graph embedding (KGE). However, most previous KGE methods ignore the semantic similarity between the related entities and entity-relation couples in different triples since they separately optimize each triple with the scoring function. To address this problem, we propose a simple yet efficient contrastive learning framework for tensor decomposition based (TDB) KGE, which can shorten the semantic distance of the related entities and entity-relation couples in different triples and thus improve the performance of KGE. We evaluate our proposed method on three standard KGE datasets: WN18RR, FB15k-237 and YAGO3-10. Our method can yield some new state-of-the-art results, achieving 51.2% MRR, 46.8% Hits@1 on the WN18RR dataset, 37.8% MRR, 28.6% Hits@1 on FB15k-237 dataset, and 59.1% MRR, 51.8% Hits@1 on the YAGO3-10 dataset.

연구 동기 및 목표

• 다른 트리플 간에 관련된 엔티티 또는 엔티티-관계 쌍 간의 의미적 유사도를 포착하지 못하는 기존 지식 그래프 임베딩(KGE) 방법의 한계를 해결한다.
• 교차 트리플 의미 관계를 명시적으로 모델링하여 텐서 분해 기반 KGE 모델의 표현력을 향상시킨다.
• 기존 텐서 분해 기반 KGE 방법과 호환되는 일반적이고 효율적인 대비 학습 프레임워크를 개발한다.
• 임베딩 공간에서 관련된 엔티티와 엔티티-관계 쌍 간의 의미적 거리를 단축시켜 링크 예측 성능을 향상시킨다.
• 대규모 지식 그래프에 유리한 저장 용량 절감을 위한 희소 임베딩 학습을 가능하게 한다.

제안 방법

• 동일한 엔티티-관계 쌍을 공유하는 엔티티 및 동일한 꼬리 엔티티를 공유하는 엔티티-관계 쌍을 위한 양성 인스턴스를 구성한다.
• 각 양성 인스턴스의 기여도를 동적으로 조절할 수 있는 가중치가 부여된 대비 손실 함수를 설계한다.
• 아키텍처 변경 없이 기존 텐서 분해 기반 KGE 모델들(예: RESCAL, ComplEx)에 대비 학습 프레임워크를 통합한다.
• 학습 중에 양성 쌍(의미적으로 유사한 엔티티/쌍) 간의 거리를 최소화하고 음성 쌍 간의 거리를 최대화하도록 대비 학습을 적용한다.
• T-SNE 시각화를 활용해 임베딩 공간 내 엔티티-관계 쌍의 군집화를 분석하고 검증한다.
• 제거 실험과 희소성 분석을 수행하여, 양성 인스턴스와 임베딩 희소성의 모델 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 서로 관련된 엔티티와 엔티티-관계 쌍 간의 교차 트리플 의미 유사도를 모델링하면 지식 그래프 임베딩 성능이 향상되는가?
• RQ2 제안된 대비 학습 프레임워크는 개별 트리플을 초월해 의미 관계를 얼마나 효과적으로 포착하는가?
• RQ3 공통 엔티티나 관계를 기반으로 한 양성 인스턴스의 포함이 다양한 KGE 모델과 데이터셋에서 일관된 성능 향상을 이끌어내는가?
• RQ4 기본 대비 학습에 비해 가중치가 부여된 대비 손실이 일반화 및 강인성 향상에 얼마나 기여하는가?
• RQ5 실제 지식 그래프에 중요한 대규모 지식 그래프를 고려할 때, 제안된 프레임워크는 희소 임베딩 설정에서도 높은 성능을 유지할 수 있는가?

주요 결과

• KGE-CL은 WN18RR 데이터셋에서 기존 방법을 능가하는 새로운 SOTA 성능을 기록하여 MRR 51.2% 및 Hits@1 46.8%를 달성하였다.
• FB15k-237에서 KGE-CL은 MRR 37.8% 및 Hits@1 28.6%를 기록하여 새로운 SOTA 결과를 설정하였다.
• YAGO3-10에서 KGE-CL은 MRR 59.1% 및 Hits@1 51.8%를 기록하여 다양한 지식 그래프 구조에 걸쳐 강력한 일반화 능력을 보였다.
• 제거 실험 결과, 양성 인스턴스의 포함이 성능 향상에 크게 기여하며, 여러 KGE 변종에서 일관된 성과 향상을 보였다.
• T-SNE 시각화 결과, KGE-CL은 기준 모델 대비 동일한 꼬리 엔티티를 공유하는 엔티티-관계 쌍의 군집화가 더 잘 이루어지는 것으로 나타났다.
• 희소성 분석 결과, KGE-CL 임베딩는 DURA보다 희소 설정에서도 높은 성능을 유지하여 대규모 지식 그래프에서 더 뛰어난 저장 효율성을 보였다.