[논문 리뷰] Inductive Relation Prediction by Subgraph Reasoning

Komal K. Teru, Etienne Denis외 1명|arXiv (Cornell University)|2019. 11. 16.

Advanced Graph Neural Networks참고 문헌 32인용 수 64

한 줄 요약

GraIL은 대상 노드 쌍을 둘러싼 인클로징 서브그래프를 기반으로 추론하여 unseen 엔티티와 그래프에 일반화할 수 있게 하는 GNN 기반 프레임워크이며, 임베딩 기반 방법과 앙상블 시 보완적 이득을 제공한다.

ABSTRACT

The dominant paradigm for relation prediction in knowledge graphs involves learning and operating on latent representations (i.e., embeddings) of entities and relations. However, these embedding-based methods do not explicitly capture the compositional logical rules underlying the knowledge graph, and they are limited to the transductive setting, where the full set of entities must be known during training. Here, we propose a graph neural network based relation prediction framework, GraIL, that reasons over local subgraph structures and has a strong inductive bias to learn entity-independent relational semantics. Unlike embedding-based models, GraIL is naturally inductive and can generalize to unseen entities and graphs after training. We provide theoretical proof and strong empirical evidence that GraIL can represent a useful subset of first-order logic and show that GraIL outperforms existing rule-induction baselines in the inductive setting. We also demonstrate significant gains obtained by ensembling GraIL with various knowledge graph embedding methods in the transductive setting, highlighting the complementary inductive bias of our method.

연구 동기 및 목표

• 보이지 않는 엔티티로 일반화되는 귀납적 관계 예측의 필요성을 동기화하고, 임베딩 기반 방법의 한계를 다룬다.
• 엔티티 독립적 관계 의미를 학습하는 서브그래프 기반 GNN 프레임워크 GraIL을 제안한다.
• GraIL이 1차 논리 규칙의 하위 집합을 인코딩할 수 있으며 귀납적 기준선보다 우수하다는 것을 보인다.
• GraIL과 KG 임베딩의 앙상블이 전이 설정에서 성능 향상을 가져옴을 보여준다.
• 새로운 귀납 벤치마크 데이터세트를 제공하고 구성요소를 제거 실험으로 분석한다.

제안 방법

• 두 대상 노드의 k-홉 이웃을 교차시켜 후보 삼중항 주위의 인클로징 서브그래프를 추출하고 두 노드를 잇는 짧은 경로에 속하는 노드만으로 가지치기한다.
• 대상을 향한 거리를 포착하는 이중 반지름 표기법으로 서브그래프의 노드를 표기하여 외부 속성 없이 노드 특징 초기화를 가능하게 한다.
• 다중 관계 메시지 전달과 엣트리에 대한 주의 집중을 포함한 GNN으로 삼중항을 점수화하고, 서브그래프 표현을 풀링한 뒤 대상 노드 및 관계 임베딩과 연결하여 최종 점수를 산출한다.
• 헤드나 테일 엔티티를 치환하여 음수 샘플링을 이용한 마진 기반 힌지 손실로 학습한다.
• GraIL이 경로 기반 논리 규칙을 인코딩할 수 있으며, 주어진 질의에 의해 만족되는 규칙의 수를 근사하는 것을 선택적으로 보여준다(정리 1 및 보조정리 1).
• 강건성과 표현력을 향상시키기 위해 JK-연결 및 기반 공유를 선택적으로 활용한다.

실험 결과

연구 질문

• RQ1 GraIL은 노드 속성을 사용하지 않고 로컬 서브그래프 구조를 추론하여 귀납적 관계 예측을 수행할 수 있는가?
• RQ2 표준 KG 데이터에서 파생된 완전한 귀납 벤치마크에서 GraIL이 기존의 귀납 기준선(NeuralLP, DRUM, RuleN)과 어떻게 비교되는가?
• RQ3 전이 설정에서 임베딩 기반 KG 완성 모델과 결합(앙상블)될 때 GraIL이 보완적 이점을 제공하는가?
• RQ4 어떤 구성요소들(서브그래프 추출, 노드 표기, 주의집중(어텐션))이 GraIL 성능에 가장 중요한가?

주요 결과

• GraIL은 WN18RR, FB15k-237, NELL-995에서 귀납 벤치마크의 최첨단 기준선들(NeuralLP, DRUM, RuleN)을 AUC-PR 및 Hits@10에서 상당히 능가한다.
• GraIL을 다양한 KG 임베딩과 앙상블하면 WN18RR, FB15k-237, NELL-995에서 전이적 관계 예측에 일관된 이득을 얻고, 여러 데이터셋에서 최고의 독립 임베딩 방법을 능가한다.
• 제거 실험은 서브그래프 추출, 이중 반지름 표기, GNN의 어텐션이 모두 중요하다고 나타났으며, 특히 서브그래프 추출과 표기가 큰 영향을 보인다.
• 이론적 분석(Theorem 1 및 Corollary 1)은 GraIL이 경로 기반 논리 규칙의 광범위한 클래스 인코딩 및 주어진 질의에 대해 만족되는 규칙의 수를 세는 능력을 보여준다.