[논문 리뷰] Cycle Representation Learning for Inductive Relation Prediction

Zuoyu Yan, Tengfei Ma외 3명|arXiv (Cornell University)|2021. 10. 06.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 지식 그래프에서의 유도적 관계 예측을 순환 표현 학습으로 간주하는 새로운 GNN 프레임워크인 사이클 기반 그래프 신경망(CBGNN)을 제안한다. 이는 대수적 위상수학에서 유도하는 순환 공간의 선형 대수적 구조를 활용하여, 모든 가능한 경로를 탐색하는 대신 기저 순환에 대한 표현을 학습함으로써 기존의 GNN 기반 방법에 비해 훨씬 높은 효율성과 최고 성능을 달성한다.

ABSTRACT

In recent years, algebraic topology and its modern development, the theory of persistent homology, has shown great potential in graph representation learning. In this paper, based on the mathematics of algebraic topology, we propose a novel solution for inductive relation prediction, an important learning task for knowledge graph completion. To predict the relation between two entities, one can use the existence of rules, namely a sequence of relations. Previous works view rules as paths and primarily focus on the searching of paths between entities. The space of rules is huge, and one has to sacrifice either efficiency or accuracy. In this paper, we consider rules as cycles and show that the space of cycles has a unique structure based on the mathematics of algebraic topology. By exploring the linear structure of the cycle space, we can improve the searching efficiency of rules. We propose to collect cycle bases that span the space of cycles. We build a novel GNN framework on the collected cycles to learn the representations of cycles, and to predict the existence/non-existence of a relation. Our method achieves state-of-the-art performance on benchmarks.

연구 동기 및 목표

• 기존의 지식 그래프에서의 유도적 관계 예측 방법들이 기하급수적으로 증가하는 경로 공간을 탐색함으로써 발생하는 비효율성과 확장성 문제를 해결하기 위해.
• 대수적 위상수학에서의 순환 공간의 내재된 선형 구조를 활용하여 논리적 규칙을 위한 탐색 공간을 줄이기 위해.
• 개별 경로가 아닌 기저 순환을 기반으로 표현을 학습하는 GNN 기반 프레임워크를 개발하여 효율적이고 정확한 관계 예측을 가능하게 하기 위해.
• 순환 기반 규칙 학습이 지식 그래프 보완 작업에서 경로 기반 또는 히وري스틱 규칙 추출에 비해 우수한 성능을 보이는지 확인하기 위해.

제안 방법

• 논리적 규칙를 지식 그래프 내의 순환으로 모델링하며, 각 규칙를 목표 관계를 포함하는 관계의 닫힌 루프로 간주한다.
• 전체 그래프의 순환 공간을 커버할 수 있도록 전략적으로 선택된 중심 노드에서부터 최단경로 트리(SPT)를 이용해 기저 순환을 구성한다.
• 기저 순환을 노드로 하는 순환 그래프 위에 새로운 GNN을 구축하며, 간선은 순환 간의 상호작용을 표현한다.
• 양방향 RNN(BR-LSTM)을 통해 순환 간에 메시지를 전달하여 관계 인식 기반의 순환 표현을 학습한다.
• 기저 순환을 선형 조합으로 조합할 수 있도록 mod-2 덧셈을 사용하여 모든 가능한 순환을 표현한다.
• 최종 예측은 순환 신뢰도 점수를 순환 표현에 대해 학습된 어텐션 메커니즘을 통해 집계함으로써 이루어진다.

실험 결과

연구 질문

• RQ1 대수적 위상수학에서의 순환 공간 선형 대수적 구조를 활용하여 지식 그래프 내 논리적 규칙 탐색 공간을 줄일 수 있는가?
• RQ2 기저 순환을 기반으로 표현을 학습하는 것이 정확도와 효율성 측면에서 경로 기반 규칙 추출보다 우월한가?
• RQ3 기저 순환 생성 전략(예: SPT 대비 랜덤)의 선택이 유도적 관계 예측 성능에 어떤 영향을 미치는가?
• RQ4 노드 수준의 GNN과 비교해 순환 표현에 기반한 GNN이 일반화 능력과 유도적 편향을 얼마나 향상시키는가?
• RQ5 순환 기반 학습이 제로샷 또는 희소한 샘플 관계 예측 시나리오로 자연스럽게 확장될 수 있는가?

주요 결과

• CBGNN는 다양한 유도적 관계 예측 벤치마크에서 최고 성능을 기록하며, 기존의 GNN 기반 및 규칙 기반 방법들을 모두 압도한다.
• 제거 실험을 통해 GNN를 통한 순환 표현 학습이 필수적임을 확인했다. 사전 정의된 SPT 순환을 직접 분류하는 CBGNN-MLP는 전체 모델에 비해 성능이 열 劣하다.
• 여러 개의 SPT 기반 기저 순환(예: k=20)을 사용할 경우 단일 기저 또는 랜덤 기저 방법보다 성능이著격히 향상되어 커버리지와 다양성의 중요성을 입증한다.
• BR-LSTM 기반의 순환 특징 생성은 대부분의 데이터셋에서 BOW 및 표준 LSTM 베이스라인보다 우수한 성능을 보이며, 양방향 관계 시퀀스를 모델링하는 데서 유의미한 이점이 있음을 보여준다.
• 모든 트리플릿에 대해 하나의 통합된 GNN을 구성함으로써 기존의 GNN 기반 접근보다 훨씬 빠르게 동작한다. 이는 각 트리플릿마다 하위 그래프를 추출하는 방식을 피하기 때문이다.
• FB15k-237에서 BOW 특징이 놀랍게 BR-LSTM을 앞서는 성능을 보였는데, 이는 데이터셋의 높은 관계 유형 다양성 때문일 것으로 보이며, 특징 설계의 도메인 의존성에 대한 시사점을 제공한다.