[논문 리뷰] Generalized Relation Learning with Semantic Correlation Awareness for Link Prediction

Yao Zhang, Xu Zhang외 6명|arXiv (Cornell University)|2020. 12. 22.

Advanced Graph Neural Networks참고 문헌 39인용 수 5

한 줄 요약

이 논문은 일반화된 관계 학습(GRL)을 제안하며, 관계 간의 의미적 상관관계를 활용하여 불균형하고 미리보지 않은(제로샷) 관계에서도 성능을 향상시키는 링크 예측 모델을 개선한다. 주어진 관계 임베딩을 주의 기반 융합하고 분류 인식 손실을 적용함으로써, 의미적으로 유사한 관계 간의 벡터 공간 유사도를 높이고 일반화 능력을 향상시켜 DistMult 및 ConvE와 같은 기본 모델의 성능을 다수, 소수, 제로샷 관계 전반에서 크게 향상시킨다.

ABSTRACT

Developing link prediction models to automatically complete knowledge graphs has recently been the focus of significant research interest. The current methods for the link prediction taskhavetwonaturalproblems:1)the relation distributions in KGs are usually unbalanced, and 2) there are many unseen relations that occur in practical situations. These two problems limit the training effectiveness and practical applications of the existing link prediction models. We advocate a holistic understanding of KGs and we propose in this work a unified Generalized Relation Learning framework GRL to address the above two problems, which can be plugged into existing link prediction models. GRL conducts a generalized relation learning, which is aware of semantic correlations between relations that serve as a bridge to connect semantically similar relations. After training with GRL, the closeness of semantically similar relations in vector space and the discrimination of dissimilar relations are improved. We perform comprehensive experiments on six benchmarks to demonstrate the superior capability of GRL in the link prediction task. In particular, GRL is found to enhance the existing link prediction models making them insensitive to unbalanced relation distributions and capable of learning unseen relations.

연구 동기 및 목표

• 기존 링크 예측 모델이 불균형한 관계 분포와 미리보지 않은(제로샷) 관계를 다루는 데에 한계를 보이는 문제를 해결하기 위해.
• 소수 및 제로샷 관계가 의미적으로 유사한 기존 관계로부터 유의미한 이점을 얻을 수 있도록 일반화 능력을 향상시키기 위해.
• 기본 아키텍처를 대체하지 않고도 기존 모델을 보완할 수 있는 플러그인 프레임워크를 개발하기 위해.
• 의미적 상관관계 인식 기반의 관계 학습을 통해 지식 그래프에 대한 통합적 이해를 확립하기 위해.

제안 방법

• 기존 링크 예측 모델의 임베딩 학습 단계 이후에 통합되는 GRL 프레임워크를 도입한다.
• 특히 다수, 소수, 제로샷 관계를 연결하는 데에 유용한 관계 간의 풍부한 의미적 상관관계를 추출하기 위해 주의 메커니즘을 사용한다.
• 학습 가능한 융합 확률을 통해 주의 기반 공동 벡터와 관계 지식 벡터를 관계 임베딩에 융합한다.
• 의미적 상관관계를 직접 관계 표현에 통합하기 위해 분류 인식 손실을 적용함으로써, 벡터 공간 내에서의 구분 능력과 유사도를 향상시킨다.
• 공동 및 관계 지식 벡터의 기여도를 적응적으로 균형 잡아 모델의 유연성을 높인다.
• DistMult 및 ConvE와 같은 기본 모델에 통합되어, 모든 관계 유형에 걸쳐 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 관계 간의 의미적 상관관계를 효과적으로 활용하여 불균형한 관계 분포에서 링크 예측 성능을 향상시킬 수 있는가?
• RQ2 학습 예제가 전혀 없는 상태에서도 제로샷 관계를 효과적으로 학습할 수 있는 통합 프레임워크가 가능한가?
• RQ3 의미적 상관관계 인식을 통합함으로써 다수, 소수, 제로샷 관계 전반에서 링크 예측 모델의 일반화 성능에 어떤 영향을 미치는가?
• RQ4 GRL은 의미적으로 유사한 관계 간의 벡터 공간 클러스터링을 어느 정도 향상시키는가?

주요 결과

• GRL은 제로샷 관계에서 MRR를 크게 향상시켜, 이웃 정보에 의존하는 최신 기법인 GMatching을 뛰어넘는 성능을 보였다.
• FB15K-237에서 ConvE+GRL은 MRR 55.4를 기록하여 기본 모델인 ConvE(52.0)보다 3.4점 향상되어 강력한 일반화 능력을 입증했다.
• 제거 실험 결과, $p_f = 0.5$에서 공동 및 관계 지식 벡터를 모두 융합할 경우가 가장 우수한 성능을 보였으며, 단일 벡터 기반 베이스라인보다 뛰어났다.
• 시각화 결과, GRL은 주의 분포와 t-SNE 플롯을 개선하여 의미적으로 유사한 관계들이 임베딩 공간에서 더 가까이 위치하게 했다.
• 직접 융합 베이스라인은 GRL에 비해 성능이 열 劣하므로, 효과적인 의미적 상관관계 학습을 위해서는 분류 인식 손실이 필수적임을 입증했다.
• GRL은 DistMult 및 ConvE 모두 모든 벤치마크에서 성능 향상을 이끌어내어 뛰어난 강건성과 일반 적용 가능성을 보였다.