[논문 리뷰] Meta-GNN: On Few-shot Node Classification in Graph Meta-learning

Fan Zhou, Chengtai Cao외 4명|arXiv (Cornell University)|2019. 05. 23.

Advanced Graph Neural Networks참고 문헌 12인용 수 34

한 줄 요약

Meta-GNN은 그래프 신경망과 메타러닝을 통합하여 에피소딕 메타훈련을 통해 전이 가능한 초기화를 학습하고, 최소한의 라벨링 데이터로 새로운 클래스로 빠르게 적응한다.

ABSTRACT

Meta-learning has received a tremendous recent attention as a possible approach for mimicking human intelligence, i.e., acquiring new knowledge and skills with little or even no demonstration. Most of the existing meta-learning methods are proposed to tackle few-shot learning problems such as image and text, in rather Euclidean domain. However, there are very few works applying meta-learning to non-Euclidean domains, and the recently proposed graph neural networks (GNNs) models do not perform effectively on graph few-shot learning problems. Towards this, we propose a novel graph meta-learning framework -- Meta-GNN -- to tackle the few-shot node classification problem in graph meta-learning settings. It obtains the prior knowledge of classifiers by training on many similar few-shot learning tasks and then classifies the nodes from new classes with only few labeled samples. Additionally, Meta-GNN is a general model that can be straightforwardly incorporated into any existing state-of-the-art GNN. Our experiments conducted on three benchmark datasets demonstrate that our proposed approach not only improves the node classification performance by a large margin on few-shot learning problems in meta-learning paradigm, but also learns a more general and flexible model for task adaption.

연구 동기 및 목표

• 그래프에서의 소수 샷 노드 분류 문제를 메타학습 프레임워크 내에서 동기화한다.
• 기존 GNN을 빠르게 새로운 클래스에 적용할 수 있도록 일반적인 그래프 메타학습 프레임워크를 제안한다.
• 다양한 관련 작업을 통해 GNN의 전이 가능한 초기화를 메타학습으로 학습한다.
• 표준 그래프 데이터셋에서 최첨단 기준선 대비 실증적 이득을 보여준다.

제안 방법

• 에피소드 메타러닝 설정을 채택하여 각 작업이 그래프에서 K-shot, |C2|-way 노드 분류 문제를 모방하도록 한다.
• MAML 스타일의 그래디언트 업데이트를 사용하여 적은 그래디언트 스텝으로도 적응하는 매개변수 초기화를 학습한다.
• 표준 GNN(예: GCN 또는 SGC)과 메타러닝 목표를 작업별 미세 조정을 통해 통합한다.
• 각 작업에서 소수의 클래스를 선택하고 작은 지원 세트와 쿼리 세트를 포함한 메타훈련 작업을 샘플링한다.
• 작업별 하나 또는 몇 개의 그래디언트 업데이트 후 손실을 최소화하고 작업 간 글로벌 초기화를 업데이트하는 방식으로 메타훈련을 수행한다.
• 메타테스트 도중 새 작업의 지원 세트에서 모델을 미세 조정하고 쿼리 세트에서 평가한다.

실험 결과

연구 질문

• RQ1 메타러닝이 라벨이 적은 새로운 클래스로의 GNN의 빠른 적응을 가능하게 할 수 있는가?
• RQ2 MAML 스타일의 초기화가 그래프 기반의 소수 샷 작업들 사이에서 얼마나 잘 전이되는가?
• RQ3 소수 샷 설정에서 Meta-GNN이 전통적 GNN 및 임베딩 기반 기준선 대비 어떤 성능 향상을 제공하는가?

주요 결과

• Meta-GNN은 소수 샷 설정에서 세 개의 벤치마크 데이터셋(Cora, Citeseer, Reddit) 전반에서 최고의 성능을 달성한다.
• GNN 기반 기준선은 Meta-GNN에 의해 능가되며, 특히 1샷과 3샷에서 두드러진 개선을 보인다.
• 새로운 클래스로 일반화하는 데 특별히 설계되지 않은 inductive GNN은 새로운 클래스에 일반화하는 데 실패할 수 있는 반면, Meta-GNN은 더 전이 가능한 작업 적응 표현을 학습한다.
• Meta-GNN은 Reddit과 같이 더 어려운 데이터셋에서 더 큰 상대 이익을 보이며 이는 더 다양한 작업 변형이 더 나은 작업 적응을 촉진하기 때문이다.
• Meta-GNN 변형들 중에서 Meta-SGC와 Meta-GCN은 데이터셋에 따라 다소 차이가 있지만 대체로 비슷한 성능을 보이며, Meta-SGC가 더 빠르게 학습하는 경우가 많다.