[논문 리뷰] Learning to Extrapolate Knowledge: Transductive Few-shot Out-of-Graph Link Prediction

Jinheon Baek, Dong Bok Lee외 1명|arXiv (Cornell University)|2020. 06. 11.

Advanced Graph Neural Networks참고 문헌 69인용 수 32

한 줄 요약

메타 학습 프레임워크(Graph Extrapolation Networks, GEN)로 다중 관계 그래프에서 소-shot out-of-graph 링크 예측을 수행하고, 불확실성을 다루기 위해 확률적 임베딩으로 인덕티브 unseen-to-seen 및 트랜스덕티브 unseen-to-unseen 링크 예측을 가능하게 한다.

ABSTRACT

Many practical graph problems, such as knowledge graph construction and drug-drug interaction prediction, require to handle multi-relational graphs. However, handling real-world multi-relational graphs with Graph Neural Networks (GNNs) is often challenging due to their evolving nature, as new entities (nodes) can emerge over time. Moreover, newly emerged entities often have few links, which makes the learning even more difficult. Motivated by this challenge, we introduce a realistic problem of few-shot out-of-graph link prediction, where we not only predict the links between the seen and unseen nodes as in a conventional out-of-knowledge link prediction task but also between the unseen nodes, with only few edges per node. We tackle this problem with a novel transductive meta-learning framework which we refer to as Graph Extrapolation Networks (GEN). GEN meta-learns both the node embedding network for inductive inference (seen-to-unseen) and the link prediction network for transductive inference (unseen-to-unseen). For transductive link prediction, we further propose a stochastic embedding layer to model uncertainty in the link prediction between unseen entities. We validate our model on multiple benchmark datasets for knowledge graph completion and drug-drug interaction prediction. The results show that our model significantly outperforms relevant baselines for out-of-graph link prediction tasks.

연구 동기 및 목표

• evoling multi-relational graphs에서 소-shot out-of-graph (OOG) 링크 예측의 현실적인 설정을 다룬다.
• 쳐 seen 엔티티에서 unseen 엔티티로 일반화되는 임베딩 및 링크 예측기를 학습한다(인덕티브).
• 미지의 엔티티 표현의 불확실성을 확률적 임베딩 층으로 처리한다.
• 높은 차수 엔터티에서 낮은 차수 엔터티로 지식을 이전하는 방식으로 롱테일 분포를 완화한다.
• 지식 그래프 완성 및 약물-약물 상호작용 예측 데이터셋에서 효과를 시연한다.

제안 방법

• GEN(Graph Extrapolation Networks)를 두 개의 메타-학습된 GNN으로 제안한다:Seen-to-Unseen 링크용 인덕티브 GEN과 Unseen-to-Unseen 링크용 트랜스덕티브 GEN을 구성한다.
• unseen 엔티티를 meta-test와 같은 엔티티로 샘플링하는 에피소드 형 과제를 통해 학습 과정에서 unseen 엔티티를 시뮬레이션하는 메타 학습 목표를 사용한다.
• 인덕티브 GEN은 관계-특정 변환을 통해 지원 집합에서 unseen 엔티티 임베딩을 계산한 후 seen–unseen 링크(예: seen 엔티티와의 e'와 같은)를 예측한다.
• 트랜스덕티브 GEN은 unseen 엔티티 간 정보 전파를 위한 두 번째 층을 추가하고, 자기 연결 항 및 이웃 집계(neighbor aggregation)를 포함한다.
• unseen 엔티티 임베딩을 분포로 모델링하는 확률적 추론을 도입한다. q(phi'|S,phi)로 평균 mu와 대각 분산(diag(sigma^2))을 S에서 학습하고, 메타-훈련(L=1)과 메타-테스트(L>1) 동안 MC 샘플링을 가능하게 한다.
• KG에 대한 음의 샘플링에 대한 히지 손실과 DDI에 대한 이진 교차 엔트로피 손실, 더불어 고도-저도 지식을 낮은 차수 엔티티로 이전하는 롱-테일 전이 전략을 도입한다.

실험 결과

연구 질문

• RQ1 GEN이 seen에서 unseen으로의 지식을 외삽하여 다중 관계 그래프에서 seen-to-unseen 및 unseen-to-unseen 링크 예측을 수행할 수 있는가?
• RQ2 unseen 엔티티에 대한 트랜스덕티브 추론을 포함하는 것이 인덕티브 방식만으로는 OOG 링크 예측보다 개선되는가?
• RQ3 unseen 엔티티의 확률적 임베딩이 불확실성을 효과적으로 모델링하고 예측 성능을 향상시키는가?
• RQ4 GEN 프레임워크가 롱-테일 분포를 다루고 고-차수에서 저-차수 엔티티로 지식을 이전할 수 있는가?
• RQ5 KNOWLEDGE GRAPH COMPLETION 및 약물-약물 상호작용 예측과 같은 다양한 도메인에서 GEN이 효과적인가?

주요 결과

• GEN은 OOG 링크 예측에 대해 KG 완성 및 DDI 작업을 포함하여 다섯 데이터셋에서 기준선보다 우수한 성능을 보인다.
• 트랜스덕티브 GEN(T-GEN)은 인덕티브 GEN(I-GEN)보다 더 강력한 성능을 발휘하며, 특히 unseen-to-unseen 예측에서 그렇다.
• 확률적 트랜스덕티브 추론은 결정론적 변형에 비해 unseen-to-unseen 결과를 더 향상시킨다.
• GEN은 많거나 다양한 shot 크기에서도 효과가 유지되며, 소-shot 상황을 넘어서는 강건성을 보여준다.
• unseen 엔티티의 에피소드 시뮬레이션을 통한 메타-훈련은 unseen 데이터에 대해 재학습 없이도 효율적인 적응을 가능하게 한다.