[논문 리뷰] Knowledge Graph Embedding for Link Prediction: A Comparative Analysis

Andrea Rossi, Donatella Firmani외 3명|arXiv (Cornell University)|2020. 02. 03.

Advanced Graph Neural Networks참고 문헌 70인용 수 141

한 줄 요약

본 논문은 인기 벤치마크에서 16개의 KG 임베딩 기반 링크 예측 모델을 처음부터 비교하는 포괄적 연구를 수행하며, 방법론의 차이와 평가 관행을 강조한다.

ABSTRACT

Knowledge Graphs (KGs) have found many applications in industry and academic settings, which in turn, have motivated considerable research efforts towards large-scale information extraction from a variety of sources. Despite such efforts, it is well known that even state-of-the-art KGs suffer from incompleteness. Link Prediction (LP), the task of predicting missing facts among entities already a KG, is a promising and widely studied task aimed at addressing KG incompleteness. Among the recent LP techniques, those based on KG embeddings have achieved very promising performances in some benchmarks. Despite the fast growing literature in the subject, insufficient attention has been paid to the effect of the various design choices in those methods. Moreover, the standard practice in this area is to report accuracy by aggregating over a large number of test facts in which some entities are over-represented; this allows LP methods to exhibit good performance by just attending to structural properties that include such entities, while ignoring the remaining majority of the KG. This analysis provides a comprehensive comparison of embedding-based LP methods, extending the dimensions of analysis beyond what is commonly available in the literature. We experimentally compare effectiveness and efficiency of 16 state-of-the-art methods, consider a rule-based baseline, and report detailed analysis over the most popular benchmarks in the literature.

연구 동기 및 목표

• 지식 그래프의 불완전성을 동기화하고 임베딩을 통한 링크 예측을 평가한다.
• 집계된 테스트 정확도 이상으로 대규모의 공정한 비교 분석을 제공한다.
• 일반적인 벤치마크에서 아키텍처 간 설계 선택이 LP 성능에 미치는 영향을 상세히 설명한다.
• 유용한 평가 관행을 제안하고 공개 데이터셋, 코드, 결과를 공유한다.

제안 방법

• 16개의 임베딩 기반 LP 모델과 규칙 기반 기준선을 처음부터 학습하고 조정한다.
• 텐서 분해, 기하학적 모델 및 딥 러닝 모델 등 다양한 아키텍처를 비교한다.
• 표준 지표를 사용해 가장 많이 사용되는 5개 LP 데이터셋에서 평가한다.
• 구조적 학습 데이터 특성을 정의하고 예측 성능에 미치는 영향을 측정한다.
• 향상된 분석을 위해 예측당 순위와 CSV 출력 값을 제공한다.
• 공개 GitHub 리포지토리를 통해 코드와 자원을 공유한다.

실험 결과

연구 질문

• RQ1 어떤 KG 임베딩 모델이 표준 LP 벤치마크에서 효과성과 효율성 사이의 최적의 트레이드오프를 제공하는가?
• RQ2 설계 선택(텐서 대 기하학 대 딥 러닝, 바이릴리니어 대 비바이릴리니어, 변환적 대 회전적)이 LP 성능에 어떤 영향을 미치는가?
• RQ3 데이터셋 특성이 모델 성능에 어떤 영향을 미치며, 쉬운 예측과 어려운 예측을 예측하는 요인은 무엇인가?
• RQ4 현재의 평가 관행이 KG 전반에 걸친 모델 능력을 정확하게 반영하는가?

주요 결과

• 16개의 최첨단 모델이 5개 데이터셋에 걸쳐 실험적으로 비교되었다.
• 본 연구는 원 논문을 넘어 모델 및 데이터셋별 효율성 및 효과성 등 상세한 결과를 제시한다.
• 학습 데이터의 구조적 특징 집합이 모델 성능에 미치는 영향을 평가하기 위해 정의되었다.
• 투명성을 위해 예측당 순위 및 전체 예측 목록이 포함된다.
• 데이터셋, 코드를 포함한 자원이 GitHub에서 공개적으로 제공된다.