[논문 리뷰] Topology-Aware Correlations Between Relations for Inductive Link Prediction in Knowledge Graphs

Jiajun Chen, Huarui He외 2명|arXiv (Cornell University)|2021. 03. 05.

Advanced Graph Neural Networks참고 문헌 25인용 수 12

한 줄 요약

이 논문은 지식 그래프 내 관계 간의 위상 인식 상관관계를 활용하여 관계 쌍을 위상 패턴으로 분류하고, 관계 상관관계 네트워크(Relational Correlation Network, RCN)를 통해 그 상관관계 계수를 학습하는 새로운 인덕티브 링크 예측 모델인 TACT를 제안한다. TACT는 엔티티 특화 정보에 의존하지 않으면서도 의미적 상관관계를 효과적으로 모델링하여 벤치마크 데이터셋에서 최신 기술을 크게 능가한다.

ABSTRACT

Inductive link prediction -- where entities during training and inference stages can be different -- has been shown to be promising for completing continuously evolving knowledge graphs. Existing models of inductive reasoning mainly focus on predicting missing links by learning logical rules. However, many existing approaches do not take into account semantic correlations between relations, which are commonly seen in real-world knowledge graphs. To address this challenge, we propose a novel inductive reasoning approach, namely TACT, which can effectively exploit Topology-Aware CorrelaTions between relations in an entity-independent manner. TACT is inspired by the observation that the semantic correlation between two relations is highly correlated to their topological structure in knowledge graphs. Specifically, we categorize all relation pairs into several topological patterns, and then propose a Relational Correlation Network (RCN) to learn the importance of the different patterns for inductive link prediction. Experiments demonstrate that TACT can effectively model semantic correlations between relations, and significantly outperforms existing state-of-the-art methods on benchmark datasets for the inductive link prediction task.

연구 동기 및 목표

• 지식 그래프에서 관계 간 의미적 상관관계를 忽시하는 기존 인덕티브 링크 예측 모델의 한계를 해결하기 위해.
• 관계 쌍 간의 위상적 구조가 그들의 의미적 상관관계에 어떻게 영향을 미치는지 모델링하기 위해.
• 엔티티 수준의 정보에 의존하지 않고 관계 수준의 상관관계를 학습함으로써 미리 보지 않은 엔티티로 일반화 가능한 방법을 개발하기 위해.
• 구조화된 상관관계 패턴을 통해 관계 주변 정보를 통합함으로써 인덕티브 링크 예측 성능을 향상시키기 위해.
• 성능 향상의 원인이 관계 빈도에 기인한 데이터 편향 때문인지 아닌지를 검증하기 위해.

제안 방법

• 지식 그래프 내 구조적 연결을 기반으로 모든 관계 쌍을 서로 다른 위상 패턴(예: 헤드-테일, 테일-테일 등)으로 분류하기.
• 노드가 관계를 나타내고, 간선이 그들 사이의 위상 패턴을 나타내는 관계 상관관계 그래프(Relational Correlation Graph, RCG)를 구축하기.
• 각 위상 패턴이 링크 예측에 미치는 중요도(상관관계 계수)를 학습하기 위한 관계 상관관계 네트워크(Relational Correlation Network, RCN) 설계하기.
• 학습된 상관관계 계수에 따라 이웃 관계를 가중치 부여함으로써 RCN을 사용해 관계 표현을 집계하기.
• 인덕티브 환경에서 누락된 링크를 예측하기 위해 미분 가능한 손실 함수를 사용해 모델을 엔드 투 엔드로 훈련하기.
• 추론 시에 미리 보지 않은 엔티티로 일반화 가능한 엔티티 독립적 관계 집계 적용하기.

실험 결과

연구 질문

• RQ1 관계 쌍 간의 위상적 구조가 지식 그래프 내 의미적 상관관계에 어떻게 영향을 미치는가?
• RQ2 위상 인식 관계 상관관계를 모델링하면 인덕티브 링크 예측 성능이 향상되는가?
• RQ3 TACT는 미리 보지 않은 엔티티에 대해 엔티티 의존적 또는 빈도 기반 기준보다 더 잘 일반화되는가?
• RQ4 다양한 위상 패턴(H-H, T-T, H-T 등)이 링크 예측 정확도에 어떻게 기여하는가?
• RQ5 TACT의 성능 향상 원인이 관계 빈도에 기인한 데이터 편향 때문인지 아니면 진정으로 상관관계 모델링 덕분인가?

주요 결과

• WN18RR(v1)에서 TACT는 MRR 0.995를 기록하여 이전 최고 성능(SOTA)인 GraIL(0.158) 및 기타 기준 모델을 크게 앞서며 뚜렷한 우월성을 보였다.
• NELL-995(v1)에서 TACT는 MRR 0.830을 달성하여 GraIL(0.158)과 빈도 기반 기준 모델(0.201)보다 뚜렷한 향상을 보였다.
• FB15k-237(v1)에서 TACT는 MRR 0.880을 기록하여 GraIL(0.158)과 빈도 기반 방법(0.470)을 모두 앞서며 뛰어난 성능을 보였다.
• YAGO3-10에서 TACT는 AUC-PR 0.915와 MRR 0.406을 기록하여 관계 수가 적고 희박한 지식 그래프에서도 뛰어난 성능을 보였다.
• 제거 실험(ablation study) 결과, 관계 상관관계 모델링을 제거한 TACT w/o RC는 성능이 뚜렷이 저하되어 위상 인식 상관관계의 중요성을 입증하였다.
• 빈도 기반 기준 모델은 성능이 열악했으며(예: NELL-995에서 MRR 0.201), 이는 TACT의 성능 향상이 데이터 빈도 편향 때문이 아니라 진정한 상관관계 모델링 덕분임을 확인시켰다.