[논문 리뷰] Trust from the past: Bayesian Personalized Ranking based Link Prediction in Knowledge Graphs

Baichuan Zhang, Sutanay Choudhury외 5명|arXiv (Cornell University)|2016. 01. 14.

Advanced Graph Neural Networks참고 문헌 29인용 수 22

한 줄 요약

이 논문은 지식 그래프의 문맥에 맞는 잠재 특징 임베딩을 학습하는 베이지안 개인화 순위(BPR)-기반 링크 예측 모델을 제안하며, 최신 기법들보다 YAGO2에서 뛰어난 성능을 달성한다. 이 방법은 각 술어에 대해 이분 그래프를 활용하며, 그래프 구조—특히 밀도와 평균 차수—가 링크 예측 정확도를 강력하게 예측함을 보여준다.

ABSTRACT

Link prediction, or predicting the likelihood of a link in a knowledge graph based on its existing state is a key research task. It differs from a traditional link prediction task in that the links in a knowledge graph are categorized into different predicates and the link prediction performance of different predicates in a knowledge graph generally varies widely. In this work, we propose a latent feature embedding based link prediction model which considers the prediction task for each predicate disjointly. To learn the model parameters it utilizes a Bayesian personalized ranking based optimization technique. Experimental results on large-scale knowledge bases such as YAGO2 show that our link prediction approach achieves substantially higher performance than several state-of-art approaches. We also show that for a given predicate the topological properties of the knowledge graph induced by the given predicate edges are key indicators of the link prediction performance of that predicate in the knowledge graph.

연구 동기 및 목표

• 지식 그래프에서 다양한 술어 간 링크 예측 성능의 변동성을 다루기 위한 것이다.
• 엔티티와 관계에 대한 사전 지식을 활용하는 개인화된, 술어 간섭 없는 링크 예측 모델을 개발하기 위한 것이다.
• 술어별 하위그래프의 구조적 성질이 링크 예측 성능에 미치는 영향을 정량화하기 위한 것이다.
• 지식 그래프 구축 과정에서 삼중항 사실에 대한 신뢰도 점수를 제공하여 데이터 품질을 향상시키기 위한 것이다.

제안 방법

• 모델은 베이지안 개인화 순위(BPR) 최적화 프레임워크를 사용하여 지식 그래프 내 엔티티의 잠재 특징 임베딩을 학습한다.
• 각 술어에 대해, 해당 숄어의 간선에 의해 유도된 이분 하위그래프에서만 모델이 독립적으로 훈련되어 숄어별 모델링을 보장한다.
• BPR 목적 함수는 존재하는(양성) 삼중항을 존재하지 않는(음성) 삼중항보다 높게 순위 매기도록 최적화하여 사용자 선호도를 암묵적으로 모델링한다.
• 각 숄어의 하위그래프에 대해 밀도, 평균 차수, 응집 계수 등의 그래프 구조 지표를 계산하여 성능과의 상관관계를 분석한다.
• 선형 회귀 모델을 사용하여 이러한 구조적 특징과 링크 예측 성능(HR, ARHR, AUC로 측정) 간의 관계를 정량화한다.
• 모델은 대규모 YAGO2 지식 기반에서 평가되며, 최다 인기 기반 및 행렬 분해 기반 베이스라인과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 지식 그래프에서 다양한 숄어 간 링크 예측 성능는 어떻게 변동하며, 이러한 변동을 설명하는 요인은 무엇인가?
• RQ2 술어별 하위그래프의 구조적 성질(예: 밀도, 평균 차수, 응집 계수)이 링크 예측 성능와 얼마나 상관되는가?
• RQ3 BPR 기반의 잠재 특징 임베딩 모델이 지식 그래프의 링크 예측에서 기존 최신 기법들을 능가할 수 있는가?
• RQ4 지식 그래프의 하위그래프의 구조적 특징은 특정 숄어에 대한 링크 예측 신뢰도에 어떻게 영향을 미치는가?

주요 결과

• 제안된 BPR 기반 모델은 YAGO2 지식 기반에서 최다 인기 기반 및 행렬 분해 기반 베이스라인보다 유의미하게 높은 성능을 달성한다.
• 밀도와 평균 차수는 링크 예측 성능와 강력한 양의 상관관계를 보이며, 상관계수(rvalue)는 명확한 상승 추세를 나타낸다.
• 응집 계수는 성능과 강력한 음의 상관관계를 보이며, 특히 AUC에서 rvalue ≈ -0.69로 나타나, 희소하고 전이성이 낮은 그래프가 더 예측하기 쉬운 것으로 나타났다.
• 모델의 성능는 숄어별 하위그래프의 구조적 성질에 크게 의존하며, 이는 구조가 링크 예측 성공 여부의 핵심 예측 변수임을 시사한다.
• 결과는 링크 예측 정확도가 숄어 간으로 크게 변동하며, 이러한 변동이 그래프 구조 지표를 통해 체계적으로 설명 가능하다는 것을 확인한다.
• 이 방법은 노이즈가 많은 데이터로부터 신뢰도 있는 지식 그래프 구축을 지원하는, 삼중항 후보에 대한 신뢰도 점수를 부여할 수 있는 원칙적인 방법을 제공한다.