[논문 리뷰] Graph Few-shot Learning via Knowledge Transfer

Huaxiu Yao, Chuxu Zhang외 6명|arXiv (Cornell University)|2019. 10. 07.

Advanced Graph Neural Networks참고 문헌 35인용 수 5

한 줄 요약

이 논문은 보조 그래프에서 구조 지식을 전이하여 저샷 타겟 그래프에서의 준수 supervision 노드 분류 성능을 햖थन하는 새로운 프레임워크인 그래프 희소 학습(GFL)을 제안한다. 공유된 노드 및 프로토타입 임베딩 함수를 통해 이동 가능한 거리 공간을 학습함으로써, GFL은 관계 구조와 그래프 수준의 표현을 활용하여 성능을 향상시키며, 네 개의 실세계 데이터셋에서 희소 학습 설정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Towards the challenging problem of semi-supervised node classification, there have been extensive studies. As a frontier, Graph Neural Networks (GNNs) have aroused great interest recently, which update the representation of each node by aggregating information of its neighbors. However, most GNNs have shallow layers with a limited receptive field and may not achieve satisfactory performance especially when the number of labeled nodes is quite small. To address this challenge, we innovatively propose a graph few-shot learning (GFL) algorithm that incorporates prior knowledge learned from auxiliary graphs to improve classification accuracy on the target graph. Specifically, a transferable metric space characterized by a node embedding and a graph-specific prototype embedding function is shared between auxiliary graphs and the target, facilitating the transfer of structural knowledge. Extensive experiments and ablation studies on four real-world graph datasets demonstrate the effectiveness of our proposed model.

연구 동기 및 목표

• 레이블이 극도로 부족한 상황에서 준수 supervision 노드 분류 문제를 해결하기 위해.
• 구조적 유사성(위치 구조 및 클래스 기반 특징)을 활용하여 그래프 간 지식 전이를 가능하게 하기 위해.
• 노드 수준 및 그래프 수준의 표현을 전이하는 메트릭 기반의 희소 학습 프레임워크를 개발하기 위해.
• 클래스 내 관계적 구조를 모델링하여 저자료 환경에서 일반화 및 강인성을 향상시키기 위해.
• 이동 가능한 거리 공간이 그래프 표현 학습에서 효과적인지 실증적으로 검증하기 위해.

제안 방법

• GFL은 타겟 그래프의 노드 표현을 학습하기 위해 GNN 기반 그래프 오토인코더를 사용한다.
• 동일한 클래스의 노드들 간의 관계적 구조를 구성하고, 이 구조에서 프로토타입을 학습하기 위해 프로토타입 GNN을 사용한다.
• 보조 및 타겟 그래프 간에 노드 및 프로토타입 임베딩 함수를 공유하여 구조 지식을 전이한다.
• 전체적인 구조 유사도를 기반으로 거리 공간을 정렬하기 위해 계층적 그래프 표현 게이트를 사용한다.
• 노드 분류가 임베딩 공간에서 가장 가까운 프로토타입으로 노드를 매칭시키는 방식으로 이동 가능한 거리 공간을 사용한다.
• 내적 및 코사인 거리와 같은 거리 함수를 평가하여 거리 학습 과정의 강인성 확보를 시도한다.

실험 결과

연구 질문

• RQ1 보조 그래프에서의 지식 전이가 희소 학습 설정에서 노드 분류 성능 향상에 기여하는가?
• RQ2 노드 수준 및 그래프 수준의 구조 지식 전이가 희소 그래프 학습에서 얼마나 효과적인가?
• RQ3 다양한 유사도 함수가 프로토타입의 관계적 구조 구성에 어떤 영향을 미치는가?
• RQ4 관계적 구조 형성 시 임계값 μ의 선택이 모델에 얼마나 민감한가?
• RQ5 거리 함수의 선택이 메트릭 공간 내 최종 분류 정확도에 영향을 미치는가?

주요 결과

• GFL은 네 개의 실세계 그래프 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 5-way 1-shot 설정에서 Citation 데이터셋에서 최고 정확도 96.51%를 기록했다.
• 모든 샷 설정에서 Protonet 및 MAML을 모두 능가하며, 지원 세트 크기가 작을 때도 강인함을 입증했다.
• Top-k 공통 이웃을 유사도 함수로 사용할 경우 가장 높은 정확도(96.51%)를 기록했으며, Jaccard, Adamic-Adar, PageRank보다 우수했다.
• 관계적 구조 형성에서 임계값 μ는 명백한 영향을 미치며, 최적 값은 데이터셋에 따라 달라지므로 데이터 분포에 민감함을 나타낸다.
• 거리 함수의 선택에 대해 모델이 크게 민감하지 않으며, 내적과 코사인 거리 모두 유사한 성능(예: Collaboration 데이터셋에서 83.79% 대비 84.02%)을 보였다.
• t-SNE 시각화 결과 GFL이 더 구분력 있는 표현을 학습함을 확인했으며, Protonet에 비해 양성 및 음성 샘플이 명확히 분리됨을 확인했다.