[논문 리뷰] Knowledge Graph Contrastive Learning Based on Relation-Symmetrical Structure

Ke Liang, Yue Liu외 6명|arXiv (Cornell University)|2022. 11. 19.

Advanced Graph Neural Networks인용 수 11

한 줄 요약

이 논문은 언어 모델에 의존하지 않고 관계 대칭 구조를 활용하여 양의 대조 쌍을 구성하는 KGE-SymCL이라는 지식 그래프 대조 학습 프레임워크를 제안한다. 대칭적인 관계적 위치에 있는 엔티티를 의미적으로 유사한 것으로 간주함으로써, 링크 예측 및 엔티티 분류 작업 전반에서 KGE 모델 성능을 향상시키며, 최소한의 계산 오버헤드로 최신 기준 성능을 일관되게 초월한다.

ABSTRACT

Knowledge graph embedding (KGE) aims at learning powerful representations to benefit various artificial intelligence applications. Meanwhile, contrastive learning has been widely leveraged in graph learning as an effective mechanism to enhance the discriminative capacity of the learned representations. However, the complex structures of KG make it hard to construct appropriate contrastive pairs. Only a few attempts have integrated contrastive learning strategies with KGE. But, most of them rely on language models ( e.g., Bert) for contrastive pair construction instead of fully mining information underlying the graph structure, hindering expressive ability. Surprisingly, we find that the entities within a relational symmetrical structure are usually similar and correlated. To this end, we propose a knowledge graph contrastive learning framework based on relation-symmetrical structure, KGE-SymCL, which mines symmetrical structure information in KGs to enhance the discriminative ability of KGE models. Concretely, a plug-and-play approach is proposed by taking entities in the relation-symmetrical positions as positive pairs. Besides, a self-supervised alignment loss is designed to pull together positive pairs. Experimental results on link prediction and entity classification datasets demonstrate that our KGE-SymCL can be easily adopted to various KGE models for performance improvements. Moreover, extensive experiments show that our model could outperform other state-of-the-art baselines.

연구 동기 및 목표

• 기존의 대조 KGE 방법들이 양의 쌍을 구성하기 위해 사전 훈련된 언어 모델에 크게 의존함으로써 노이즈가 유입되고 정확도가 떨어지는 문제를 해결하고자 한다.
• 지식 그래프 내의 구조적 인도적 편향—특히 관계 대칭 구조—를 대조 학습을 위한 더 안정적이고 본질적인 기준으로 탐색하고자 한다.
• 아키텍처 수정 없이 다양한 KGE 모델의 분류 능력을 향상시키기 위한 즉장 사용 가능한 대조 학습 프레임워크를 개발하고자 한다.
• 지식 그래프 내에서 대칭적인 구조적 패턴이 본질적으로 의미적 유사성을 인코딩하고 있음을 입증함으로써, 효과적인 자기지도 대조 학습이 가능하다는 것을 보여주고자 한다.

제안 방법

• 프레임워크는 지식 그래프 내에서 대칭 관계를 통해 동일한 피벗과 연결된 엔티티들이 의미적으로 관련이 있다고 간주하는 관계 대칭 구조를 식별한다.
• 이러한 구조에서 대칭적인 위치를 차지하는 엔티티를 선택하여 양의 쌍을 구성함으로써, 자기지도 대조 학습 신호를 형성한다.
• 훈련 중에 이러한 구조적으로 유도된 양의 쌍을 끌어당기는 새로운 자기지도 정렬 손실 함수를 도입한다.
• 다양한 KGE 모델—COMPGCN, SimKGC 등—과 호환되도록 설계된 즉장 사용 가능한 모듈 형태로 제작된다.
• 관계 대칭 구조는 지식 그래프를 한 번의 순회로 추출하여 사전에 사전 저장된 딕셔너리에 저장하여 효율적인 재사용을 가능하게 한다.
• 구조적 양의 쌍 기반 대조 손실과 최종 작업 손실(예: 링크 예측 또는 엔티티 분류)을 함께 최적화한다.

실험 결과

연구 질문

• RQ1 지식 그래프 내에서 관계 대칭 구조가 KGE의 양의 대조 쌍을 구성하는 데 신뢰할 수 있고 모델에 종속되지 않는 기준이 될 수 있는가?
• RQ2 언어 모델 기반 대조 학습과 비교해 관계 대칭성을 활용할 경우 KGE 모델의 분류 능력은 얼마나 향상되는가?
• RQ3 제안된 KGE-SymCL 프레임워크는 다양한 KGE 아키텍처와 벤치마크 데이터셋에 대해 얼마나 강인하고 일반화 가능한가?
• RQ4 휴수 파라미터인 힙 수(Hop count), 샘플링 수, 손실 가중치가 KGE-SymCL의 성능에 미치는 영향은 어떠한가?

주요 결과

• KGE-SymCL은 링크 예측 및 엔티티 분류 벤치마크에서 COMPGCN, SimKGC 등 다양한 KGE 모델에서 일관되게 성능 향상을 이룬다.
• WN18RR, FB15K-237, NELL-995에서 기존의 대조 KGE 방법들을 능가하는 최신 기준 성능을 달성한다.
• 훈련 시 런타임 오버헤드가 매우 작으며, COMPGCN 기반으로 WN18RR 및 FB15K-237에서 약 2.5~6.7분의 추가 시간만 소요되어 실용적인 응용에 적합하다.
• 힙 수(K)와 샘플링 수(m)의 변동에 대해 성능 변동이 최소한이어서 하이퍼파라미터 민감도에 대한 안정성을 입증한다.
• 무게 조정 하이퍼파라미터 α는 매우 중요한 영향을 미치며, 대조 손실와 작업 손실의 크기 차이로 인해 최적의 성능은 α = 0.001에서 달성된다.
• 표준 지식 그래프의 경우 구조 추출에 CPU 하나로 50~120분이 소요되지만, 이 비용은 한 번만 발생하고 이후에 반복적으로 재사용되므로 추론은 효율적이다.