[논문 리뷰] Few-shot Relational Reasoning via Connection Subgraph Pretraining

Qian Huang, Hong‐Yu Ren외 1명|arXiv (Cornell University)|2022. 10. 13.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

이 논문은 지식 그래프에서 새로운 관계를 직접 예측할 수 있도록 공통 연결 서브그래프를 모델링함으로써 지원 및 질의 삼중항 간의 공유 연결 서브그래프를 활용하는 few-shot 관계 추론 프레임워크인 Connection Subgraph Reasoner(CSR)를 제안한다. 이는 자동으로 샘플링된 서브그래프를 기반으로 한 자기지도 사전학습을 통해 이루어지며, 메타학습이나 정제된 학습 작업이 필요 없이도 최신 성능을 달성한다. 특히 도전적인 인덕티브 few-shot 작업에서 최대 52%의 상대적 향상률을 기록한다.

ABSTRACT

Few-shot knowledge graph (KG) completion task aims to perform inductive reasoning over the KG: given only a few support triplets of a new relation $\bowtie$ (e.g., (chop,$\bowtie$,kitchen), (read,$\bowtie$,library), the goal is to predict the query triplets of the same unseen relation $\bowtie$, e.g., (sleep,$\bowtie$,?). Current approaches cast the problem in a meta-learning framework, where the model needs to be first jointly trained over many training few-shot tasks, each being defined by its own relation, so that learning/prediction on the target few-shot task can be effective. However, in real-world KGs, curating many training tasks is a challenging ad hoc process. Here we propose Connection Subgraph Reasoner (CSR), which can make predictions for the target few-shot task directly without the need for pre-training on the human curated set of training tasks. The key to CSR is that we explicitly model a shared connection subgraph between support and query triplets, as inspired by the principle of eliminative induction. To adapt to specific KG, we design a corresponding self-supervised pretraining scheme with the objective of reconstructing automatically sampled connection subgraphs. Our pretrained model can then be directly applied to target few-shot tasks on without the need for training few-shot tasks. Extensive experiments on real KGs, including NELL, FB15K-237, and ConceptNet, demonstrate the effectiveness of our framework: we show that even a learning-free implementation of CSR can already perform competitively to existing methods on target few-shot tasks; with pretraining, CSR can achieve significant gains of up to 52% on the more challenging inductive few-shot tasks where the entities are also unseen during (pre)training.

연구 동기 및 목표

• 새로운 관계가 소수의 지원 예시만을 가지고 있으며, 새로운 개체들이 등장하는 few-shot 지식 그래프 완성 문제를 해결한다.
• 수동으로 정제된 메타학습 작업이 필요한 메타학습 기반 방법의 한계를 극복하며, 이는 구축이 어려우며 종종 분포 차이를 유도하기 때문이다.
• 사전에 작업별 예시에 대한 메타학습을 거치지 않고도 새로운 few-shot 작업에 직접 인도적 추론을 수행할 수 있는 방법을 개발한다.
• 공통 연결 서브그래프를 통한 논리적 패턴 모델링을 통해 새로운 관계와 개체에 대한 강건한 일반화를 가능하게 한다.

제안 방법

• 지원 삼중항과 질의 삼중항 간의 공통 연결 서브그래프를 가설로 삼아, 이를 통해 미지의 관계를 추론하는 제거 기반 추론 문제로 few-shot 링크 예측을 모델링한다.
• 이중 단계 프레임워크를 설계한다: 가설 제안 단계는 지원 삼중항 간의 공통 서브그래프를 식별하고, 증거 제안 단계는 이들이 질의 그래프에 존재하는지 확인한다.
• GNN 기반 아키텍처를 사용하여 연결 서브그래프를 인코딩하고, 미분 가능한 어텐션 메커니즘을 통해 증거 점수를 계산한다.
• 배경 지식 그래프에서 자동으로 샘플링된 연결 서브그래프를 재구성하는 자기지도 사전학습 목표를 도입한다.
• 사전학습된 개체 임베딩을 활용하여 서브그래프 표현 학습을 향상시키며, 후속 작업에 대해 선택적 미세조정을 지원한다.
• 동적 방식으로 관련 서브그래프 구조를 식별하기 위해 미분 가능한 마스크 메커니즘을 적용하여 전체 그래프 가정을 피한다.

실험 결과

연구 질문

• RQ1 메타학습이나 정제된 메타학습 작업에 의존하지 않고도 지식 그래프 추론 모델이 few-shot 링크 예측을 수행할 수 있는가?
• RQ2 공통 연결 서브그래프가 지식 그래프에서 미지의 관계를 추론하는 데 효과적인 가설이 될 수 있는가?
• RQ3 학습이 없는 CSR의 성능은 few-shot 지식 그래프 완성에서 기존의 메타학습 기반 베이스라인과 비교해 어떻게 되는가?
• RQ4 테스트 시 관계와 개체가 학습 분포와 다를 경우 CSR의 일반화 능력은 어느 정도인가?
• RQ5 연결 서브그래프 재구성에 대한 자기지도 사전학습이 인도적 few-shot 추론 성능을 향상시킬 수 있는가?

주요 결과

• 학습이 없는 CSR의 구현은 경쟁적인 성능을 기록하며, NELL에서 MRR 0.577을 달성하여 사전학습된 임베딩이 있는 MetaR(0.471)를 초월한다.
• 자기지도 사전학습을 통한 CSR은 새로운 개체가 학습 중에 등장하는 인도적 few-shot 작업에서 최대 52%의 상대적 향상률을 기록한다.
• 제거 실험 결과 모든 구성 요소—개체 임베딩, 가설 제안, 증거 제안—이 필수적임을 확인하였으며, 모든 요소를 제거하면 MRR가 0.420으로 떨어진다.
• CSR는 분포 차이에 대해 강건한 성능을 보이며, 분포 외 관계를 포함한 새로운 테스트 세트에서도 MRR가 0.590을 유지한다. 반면 FSRL은 0.578에서 0.459로 떨어진다.
• 정확한 서브그래프가 알려진 합성 데이터셋에서 CSR-OPT는 가설 복구에 대해 0.843, 증거 복구에 대해 0.992 IOU를 기록하며, 4클리크 구조에서 성능을 확보한다.
• 정확한 가설 지도를 제공할 경우 CSR-GNN은 가설 복구에 대해 0.809, 증거 복구에 대해 0.981 IOU를 기록하여 모델이 정확한 서브그래프 탐지 능력을 갖춘 것을 확인한다.