[논문 리뷰] An Open Challenge for Inductive Link Prediction on Knowledge Graphs

Mikhail Galkin, Max Berrendorf외 1명|arXiv (Cornell University)|2022. 03. 03.

Advanced Graph Neural Networks인용 수 11

한 줄 요약

이 논문은 두 개의 대규모 Wikidata 기반 데이터셋을 사용하여 지식 그래프에서 유추 링크 예측을 위한 개방형 챌린지인 ILPC 2022를 소개한다. GNN이 있는지 여부에 따라 두 가지 베이스라인(노드피스, NodePiece)을 제안하여 관계 기반 토큰화가 제로샷 성능을 높일 수 있음을 보여주며, GNN은 더 큰 그래프에서 성능을 향상시킴으로써 유추 GNN 일반화에 여전히 도전 과제가 있음을 시사한다.

ABSTRACT

An emerging trend in representation learning over knowledge graphs (KGs) moves beyond transductive link prediction tasks over a fixed set of known entities in favor of inductive tasks that imply training on one graph and performing inference over a new graph with unseen entities. In inductive setups, node features are often not available and training shallow entity embedding matrices is meaningless as they cannot be used at inference time with unseen entities. Despite the growing interest, there are not enough benchmarks for evaluating inductive representation learning methods. In this work, we introduce ILPC 2022, a novel open challenge on KG inductive link prediction. To this end, we constructed two new datasets based on Wikidata with various sizes of training and inference graphs that are much larger than existing inductive benchmarks. We also provide two strong baselines leveraging recently proposed inductive methods. We hope this challenge helps to streamline community efforts in the inductive graph representation learning area. ILPC 2022 follows best practices on evaluation fairness and reproducibility, and is available at https://github.com/pykeen/ilpc2022.

연구 동기 및 목표

• 지식 그래프에서 유추 링크 예측을 위한 대규모이고 재현 가능한 벤치마크의 부족을 해결하기 위해.
• 이행적 방법을 초월하여 효율적이고 일반화 가능한 유추 표현 학습 모델의 개발을 지원하기 위해.
• 모든 연구자들이 공정하고 투명하며 재현 가능한 평가 지표를 사용해 비교할 수 있도록 표준화된 평가 프레임워크를 제공하기 위해.
• 공개 데이터셋과 랭킹을 제공하여 유추 GNN 및 실체 표현 학습 분야의 혁신을 장려하기 위해.

제안 방법

• 학습 및 추론 그래프가 연결되어 있으며, 새로운 실체를 포함하는 완전히 유추적인 설정을 가진 두 개의 Wikidata 기반 데이터셋(ILPC22-S 및 ILPC22-L)을 구축하였다.
• 엔티티를 그들의 인cidnet 관계를 통해 인코딩하기 위해 NodePiece를 사용하여, 엔티티 전용 임베딩 없이도 유추 추론이 가능한 관계 기반 토큰화 체계를 구현하였다.
• 두 가지 베이스라인을 구현: 단순한 NodePiece 모델(-GNN)과 CompGCN를 사용한 GNN 강화 버전(+GNN)으로, DistMult 스코어링을 적용하였다.
• 학습에 대해 자가 적대적 음성 샘플링 손실(NSSAL)과 Adam 최적화를 적용하였으며, 모든 모델에 동일한 초모수를 설정하였다.
• 평가의 공정성을 확보하기 위해, 샘플된 음성 샘플 뿐 아니라 추론 그래프 내 모든 엔티티를 기준으로 순위를 매겼다.
• 공개 GitHub 리포지토리에 챌린지를 호스팅하여 랭킹과 표준화된 학습/추론 프로토콜을 제공하였다.

실험 결과

연구 질문

• RQ1 기존의 유추 링크 예측 모델은 Wikidata와 같은 대규모 실세계 지식 그래프에서 어떻게 성능을 내는가?
• RQ2 NodePiece를 통한 관계 기반 토큰화는 엔티티 전용 임베딩 없이도 강력한 유추 일반화를 달성할 수 있는가?
• RQ3 단일 NodePiece 대비 GNN은 대규모 유추 링크 예측 작업에서 성능을 얼마나 향상시키는가?
• RQ4 현재의 유추 모델은 대규모 그래프에서 새로운 엔티티에 대해 계산 비용과 성능 측면에서 어떻게 스케일링되는가?
• RQ5 유추 링크 예측 벤치마크 평가에서 재현 가능성과 공정성을 향상시키는 데 핵심이 되는 설계 선택은 무엇인가?

주요 결과

• 단순한 NodePiece 베이스라인(-GNN)은 ILPC22-S에서 Hits@100이 0.4678, ILPC22-L에서 0.287을 기록하여 메시지 전파 없이도 강력한 재현율을 보였다.
• GNN 강화 베이스라인(+GNN)은 ILPC22-S에서 MRR을 0.0381에서 0.1326으로 향상시켜 더 작은 그래프에서 뚜렷한 성능 향상을 보였다.
• 더 큰 ILPC22-L 데이터셋에서는 MRR 향상이 더 미약했으며(0.0651에서 0.0705로), 현재 GNN의 유추 설정에서의 확장성 한계를 시사했다.
• ILPC22-L에서 +GNN 베이스라인을 학습하는 데 480분과 3GB VRAM이 소요되어 대규모 그래프에서의 계산적 요구사항이 높음을 보여주었다.
• +GNN 모델은 ILPC22-S에서 AMRI 점수 0.730을 기록하여 강력한 모델 신뢰성을 보였고, ILPC22-L에서는 0.682로 낮아 향후 개선 여지가 있음을 시사했다.
• 모든 추론 엔티티를 대상으로 순위를 매기는 챌린지의 평가 프로토콜은 샘플 기반 베이스라인 대비 더 의미 있고 해석 가능한 지표를 제공한다.