[논문 리뷰] Graph Meta Learning via Local Subgraphs

Kexin Huang, Marinka Žitnik|arXiv (Cornell University)|2020. 06. 14.

Advanced Graph Neural Networks참고 문헌 67인용 수 11

한 줄 요약

G-Meta는 소수의 레이블이 부여된 노드 또는 간선으로도 빠른 적응이 가능한 새로운 그래프 메타러닝 프레임워크를 제안한다. 지역적 서브그래프를 활용하여 서브그래프 수준의 메타기울기를 통해 이전 가능한 인덕티브 편향을 학습함으로써, 일곱 개의 데이터셋에서 기존 방법보다 최대 16.3% 향상된 성능을 기록하며, 1,840개의 그래프로 구성된 새로운 '나무의 생명' 데이터셋을 포함한 대규모 그래프 컬렉션에도 스케일링이 가능하다.

ABSTRACT

Prevailing methods for graphs require abundant label and edge information for learning. When data for a new task are scarce, meta-learning can learn from prior experiences and form much-needed inductive biases for fast adaption to new tasks. Here, we introduce G-Meta, a novel meta-learning algorithm for graphs. G-Meta uses local subgraphs to transfer subgraph-specific information and learn transferable knowledge faster via meta gradients. G-Meta learns how to quickly adapt to a new task using only a handful of nodes or edges in the new task and does so by learning from data points in other graphs or related, albeit disjoint label sets. G-Meta is theoretically justified as we show that the evidence for a prediction can be found in the local subgraph surrounding the target node or edge. Experiments on seven datasets and nine baseline methods show that G-Meta outperforms existing methods by up to 16.3%. Unlike previous methods, G-Meta successfully learns in challenging, few-shot learning settings that require generalization to completely new graphs and never-before-seen labels. Finally, G-Meta scales to large graphs, which we demonstrate on a new Tree-of-Life dataset comprising of 1,840 graphs, a two-orders of magnitude increase in the number of graphs used in prior work.

연구 동기 및 목표

• 생물학적 네트워크와 같은 실세계 응용에서 레이블이 부족한 노드 또는 간선이 있는 소수의 예시 그래프 학습 문제를 해결한다.
• 기존의 GNN 기반 메타러닝 방법은 전체 그래프 표현에 의존하여 새로운 그래프나 알려지지 않은 레이블로의 일반화에 실패하는 한계를 극복한다.
• 다른 레이블 세트를 가진 이산 그래프 간의 메타러닝을 가능하게 하여, 이전에 본 적 없는 작업과 구조로의 일반화를 지원한다.
• 대규모 그래프 데이터셋, 예를 들어 1,840개의 그래프로 구성된 새로운 '나무의 생명' 데이터셋에서도 효율적으로 작동하는 확장 가능한 접근법을 개발한다.
• 예측에 대한 지역적 서브그래프 증거를 활용하는 이론적으로 탄탄한 방법을 제공함으로써, 인덕티브 편향과 구조 유사도 학습을 향상시킨다.

제안 방법

• 목표 노드 또는 간선 주변의 세부적인 구조 정보를 캡처하기 위해 각 노드 또는 간선을 그 지역적 서브그래프로 표현한다.
• 메타기울기를 통한 빠른 적응을 지원하는 이전 가능한 표현을 학습하기 위해 이러한 지역적 서브그래프에서 GNN을 훈련한다.
• 서브그래프 간의 구조 유사도를 비교하기 위해 메트릭 학습 알고리즘을 사용하여 소수의 예시 일반화를 위한 강력한 인덕티브 편향을 형성한다.
• 예측의 강건성과 일반화를 향상시키기 위해 지역적 서브그래프 내부에서 특징 전파와 레이블 스무딩을 적용한다.
• 다른 레이블 세트와 구조를 가진 그래프 간의 전이를 가능하게 하는 서브그래프 수준에서 작동하는 메타러닝 프레임워크를 설계한다.
• 지역적 구조적 차이에 민감한 서브그래프 표현을 확보하기 위해 Weisfeiler-Lehman 그래프 이소모르피즘 테스트에 대한 연결을 활용한다.

실험 결과

연구 질문

• RQ1 소수의 예시 조건에서 그래프 구조 데이터에 대한 메타러닝에 있어 지역적 서브그래프가 효과적인 표현으로 기능할 수 있는가?
• RQ2 전체 그래프 메타러닝에 비해 서브그래프 수준의 메타러닝은 새로운 그래프와 알려지지 않은 레이블로의 일반화 성능에서 어떻게 비교되는가?
• RQ3 G-Meta는 서로 다른 레이블 세트를 가진 이산 그래프 간에 지식을 효과적으로 전이할 수 있는가, 예를 들어 PPI 네트워크에서 모델 생물에서 인간으로의 전이를 고려할 때?
• RQ4 1,840개의 생물학적 PPI 그래프로 구성된 컬렉션과 같은 대규모 그래프 데이터셋에서 G-Meta의 확장성은 어떠한가?
• RQ5 전체 그래프 표현에 비해 지역적 서브그래프에서 학습하는 것이 인덕티브 편향과 예측 성능 향상에 기여하는가?

주요 결과

• G-Meta는 일곱 개의 데이터셋에서 아홉 가지 기준 방법보다 뛰어나며, 노드 분류 작업에서 최대 16.3% 향상된 성능을 기록한다.
• G-Meta는 기존 방법이 소수의 예시 설정에서 실패하는 바와는 달리, 새로운 그래프와 이전에 본 적 없는 레이블로의 일반화를 성공적으로 수행한다.
• 메타러닝은 대규모 그래프 컬렉션에 대해 효과적으로 스케일링되며, 1,840개의 그래프로 구성된 새로운 '나무의 생명' 데이터셋에서 이를 입증하였다—이전 연구 대비 두 배수 이상의 그래프 수를 포함한다.
• 지역적 서브그래프 표현은 더 나은 구조 유사도 학습을 가능하게 하여, 인덕티브 편향 향상과 소수의 예시 일반화를 향상시킨다.
• 이론적 분석을 통해 예측 증거가 목표 노드 또는 간선 주변의 지역적 서브그래프에 존재한다는 것이 확인되었으며, 이는 서브그래프 기반 접근법의 타당성을 뒷받침한다.
• G-Meta는 지역 이웃 내에서 효과적인 레이블 전파와 특징 스무딩을 가능하게 하여 모델의 강건성과 정확도를 향상시킨다.