[논문 리뷰] Graph Few-shot Learning with Task-specific Structures

Song Wang, Chen Chen외 1명|arXiv (Cornell University)|2022. 10. 21.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 저샷 설정에서 노드 분류 성능을 햖थ기 위해 작업별로 그래프 구조를 학습하는 새로운 그래프 희소-shot 학습 프레임워크인 GLITTER를 제안한다. 영향도 기반으로 관련 노드를 선택하고 상호정보량을 최적화하여 간선 가중치를 조정함으로써 GLITTER는 작업별 표현을 향상시키며, 단일 및 다중 그래프 설정에서 다섯 개의 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph few-shot learning is of great importance among various graph learning tasks. Under the few-shot scenario, models are often required to conduct classification given limited labeled samples. Existing graph few-shot learning methods typically leverage Graph Neural Networks (GNNs) and perform classification across a series of meta-tasks. Nevertheless, these methods generally rely on the original graph (i.e., the graph that the meta-task is sampled from) to learn node representations. Consequently, the graph structure used in each meta-task is identical. Since the class sets are different across meta-tasks, node representations should be learned in a task-specific manner to promote classification performance. Therefore, to adaptively learn node representations across meta-tasks, we propose a novel framework that learns a task-specific structure for each meta-task. To handle the variety of nodes across meta-tasks, we extract relevant nodes and learn task-specific structures based on node influence and mutual information. In this way, we can learn node representations with the task-specific structure tailored for each meta-task. We further conduct extensive experiments on five node classification datasets under both single- and multiple-graph settings to validate the superiority of our framework over the state-of-the-art baselines. Our code is provided at https://github.com/SongW-SW/GLITTER.

연구 동기 및 목표

• 모든 메타작업에서 동일한 원본 그래프 구조를 사용하는 기존 그래프 희소-shot 학습 방법의 한계를 해결한다.
• 동적이고 작업별로 맞춤화된 그래프 구조를 통해 각 메타작업에 맞게 노드 표현을 개선하여 분류 성능을 향상시킨다.
• 희소하고 희소-shot 메타작업에서 관련 노드 선별 및 의미 있는 간선 가중치 학습의 과제를 극복한다.
• 단일 그래프 및 다중 그래프 설정, 특히 서로 겹치지 않는 그래프가 존재하는 상황에서도 효과적인 희소-shot 학습을 가능하게 한다.
• 노드 영향도와 레이블-질의 상호정보량을 활용하여 다양한 메타작업 구성에 적응할 수 있는 프레임워크를 개발한다.

제안 방법

• 지원 노드에 대한 전체적인 영향을 측정하는 노드 영향도 기반 전략을 사용하여 각 메타작업에 대해 관련 노드를 추출한다.
• 질의 노드와 잠재적인 클래스 레이블 간의 상호정보량을 최대화하여 작업별 간선 가중치를 학습한다.
• 작업별 구조 내에서 같은 클래스 내 노드 영향도를 높여 내부 클래스 상관관계를 강화한다.
• 지원 노드, 질의 노드, 원본 그래프에서 선별된 관련 노드를 포함하는 작업별 부분그래프를 구성한다.
• 학습된 작업별 구조를 GNN 기반 분류 헤드에 통합하여 희소-shot 노드 분류를 수행한다.
• 각 메타작업을 훈련 그래프에서 샘플링하고 별도의 테스트 그래프에서 평가하는 메타학습을 통해 모델을 종합적으로 훈련시킨다.

실험 결과

연구 질문

• RQ1 고정된 원본 그래프를 사용하는 것과 비교해, 작업별로 그래프 구조를 학습하는 것이 희소-shot 노드 분류 성능을 향상시키는가?
• RQ2 노드 영향도는 작업별 부분그래프를 구성하기 위해 관련 노드를 선별하는 데 어떻게 기여하는가?
• RQ3 질의 노드와 레이블 간의 상호정보량을 최대화함으로써 분류 정확도가 어느 정도 향상되는가?
• RQ4 단일 그래프 및 다중 그래프 환경을 포함한 다양한 희소-shot 설정에서 프레임워크의 성능은 어떠한가?
• RQ5 노드 영향도 모듈과 상호정보량 모듈이 전체 프레임워크에서 각각 어떤 기여를 하는가?

주요 결과

• GLITTER는 단일 그래프 및 다중 그래프 설정에서 다섯 개인 실세계 노드 분류 데이터셋 전반에서 최신 기술 수준의 성능을 달성한다.
• 제거 실험 결과, 노드 선택, 노드 영향도, 상호정보량 중 어느 모듈도 제거할 경우 성능이 크게 떨어지며, 각 모듈의 필요성을 입증한다.
• 서로 겹치지 않는 다중 그래프 설정에서 관련 노드를 포함함으로써 프레임워크가 더 나은 성능을 발휘함을 확인하여, 저자원 환경에서의 작업별 구조 학습의 중요성을 강조한다.
• 노드 영향도 모듈을 제거할 경우, 메타작업당 클래스 수가 증가할수록 성능 저하가 더 크게 발생함을 확인하여, 이 모듈이 클래스별 표현을 구분하는 데 기여하는 역할을 함을 시사한다.
• 특히 원본 그래프에서 질의 노드가 지원 노드에서 떨어져 있을 경우, 상호정보량 모듈이 노드 영향도 모듈보다 더 크게 기여함을 확인하였다.
• 특히 훈련 그래프와 테스트 그래프가 서로 겹치지 않는 경우, 적응형 구조 학습 메커니즘 덕분에 프레임워크는 예측 불가능한 그래프로도 잘 일반화됨을 확인하였다.