[논문 리뷰] Few-Shot Learning on Graphs via Super-Classes based on Graph Spectral Measures

Jatin Chauhan, Deepak Nathani외 1명|arXiv (Cornell University)|2020. 02. 27.

Advanced Graph Neural Networks인용 수 26

한 줄 요약

이 논문은 그래프 스펙트럼 측정값과 워싱거 거리(Wasserstein distance)를 활용하여 기본 클래스 레이블을 슈퍼클래스로 군집화하고, 관계적 인덕티브 바이어스를 강화하기 위해 슈퍼그래프를 구축하는 새로운 소수의 그래프 분류 방법을 제안한다. 이 방법은 이중 헤드 분류기(슈퍼클래스 및 그래프 어텐션)를 사용해 GNN을 훈련함으로써 일반화 성능을 향상시키며, TRIANGLES 데이터셋에서 20-shot 설정에서 비지도 기반 보다 최대 20% 높은 정확도를 달성한다.

ABSTRACT

We propose to study the problem of few shot graph classification in graph neural networks (GNNs) to recognize unseen classes, given limited labeled graph examples. Despite several interesting GNN variants being proposed recently for node and graph classification tasks, when faced with scarce labeled examples in the few shot setting, these GNNs exhibit significant loss in classification performance. Here, we present an approach where a probability measure is assigned to each graph based on the spectrum of the graphs normalized Laplacian. This enables us to accordingly cluster the graph base labels associated with each graph into super classes, where the Lp Wasserstein distance serves as our underlying distance metric. Subsequently, a super graph constructed based on the super classes is then fed to our proposed GNN framework which exploits the latent inter class relationships made explicit by the super graph to achieve better class label separation among the graphs. We conduct exhaustive empirical evaluations of our proposed method and show that it outperforms both the adaptation of state of the art graph classification methods to few shot scenario and our naive baseline GNNs. Additionally, we also extend and study the behavior of our method to semi supervised and active learning scenarios.

연구 동기 및 목표

• 소수의 레이블 예제만 제공되는 새로운 클래스에 대해 그래프 신경망(GNN)의 낮은 일반화 성능 문제를 해결한다.
• 깊이가 증가함에 따라 수신 영역이 커지지만 과도하게 스무딩되는 문제로 인해 성능이 저하되는 소수의 학습 환경에서 표준 GNN의 한계를 극복한다.
• 그래프 데이터 내 잠재적인 클래스 간 관계를 활용하기 위해 스펙트럼 유사도 기반 슈퍼그래프를 구축함으로써 샘플 효율성과 조합적 일반화 성능을 향상시킨다.
• 그래프 스펙트럼 측정값과 워싱거 바이아센터(Wasserstein barycenters) 및 슈퍼클래스 군집화를 융합한 새로운 프레임워크를 제안하여 소수의 그래프 분류 작업에서의 성능을 향상시킨다.

제안 방법

• 정규화된 라플라시안 행렬의 스펙트럼을 사용해 각 그래프에 그래프 스펙트럼 측정값을 할당함으로써 그래프 비교를 위한 메트릭 공간을 구현한다.
• 스펙트럼 측정값 공간에서 $L^p$ 워싱거 거리를 기반 메트릭으로 사용해 각 기본 클래스에 대해 워싱거 바이아센터(프로토타입 그래프)를 계산한다.
• 스펙트럼 측정값을 동일한 기본 클래스에 속한 그래프들 간의 워싱거 거리 기반으로 슈퍼클래스로 군집화하여 슈퍼클래스 구조를 형성한다.
• 노드가 슈퍼클래스를 나타내고, 슈퍼클래스 공간 내에서 $k$-최근접 이웃 기반으로 간선을 형성하는 슈퍼그래프를 구축함으로써 의미적으로 유사한 클래스 간 메시지 전달을 가능하게 한다.
• 이중 헤드 분류기를 사용해 GNN을 훈련한다: 슈퍼클래스 헤드(MLP)와 최종 클래스 예측을 위한 그래프 어텐션 네트워크(GAT) 헤드이며, 병합된 크로스 엔트로피 손실을 사용한다.
• 초기화 기반 미세조정 전략을 적용하며, 훈련 중에는 GIN 특징 추출기와 슈퍼클래스 헤드를 고정하고, 소수의 새로운 클래스 샘플을 사용해 오직 GAT 헤드만 업데이트한다.

실험 결과

연구 질문

• RQ1 정규화된 라플라시안에서 유도된 그래프의 스펙트럼 측정값이 소수의 그래프 학습에서 의미 있는 슈퍼클래스로 기본 클래스 레이블을 군집화하는 데 효과적인 표현으로 기능할 수 있는가?
• RQ2 스펙트럼 측정값 간 워싱거 거리 기반으로 구축된 슈퍼그래프가 표준 GNN에 비해 소수의 그래프 분류에서 일반화 성능을 향상시키는가?
• RQ3 GAT 기반 최종 분류기와 함께 슈퍼클래스 예측 헤드를 포함할 경우, 낮은 데이터 환경에서 성능에 어떤 영향을 미치는가?
• RQ4 정보 유입과 과적합 방지를 균형 잡는 데 최적의 슈퍼클래스 수와 슈퍼그래프의 $k$-값은 무엇인가?

주요 결과

• TRIANGLES 데이터셋에서 20-shot 설정에서 제안된 방법은 80.14%의 정확도를 달성하였으며, 딥러닝 기반 보다 7% 향상되었고, 비지도 기반 보다 20% 향상되었다.
• 이 방법은 다양한 데이터셋에서 일관된 성능 향상을 보였다: Letter-High(+2.19% with-SC 대비 no-SC, 20-shot), Reddit-12K(+2.17%), ENZYMES(+0.31%)에서 20-shot 설정에서의 성과.
• 대부분의 데이터셋에서 슈퍼클래스 수가 3개일 때 성능이 최고로 높았으며, 이 이상 증가시킬 경우 흐트러짐과 정보 부족 현상이 발생하여 특히 Letter-High와 TRIANGLES에서 심각해졌다.
• 각 슈퍼클래스에 대해 2-NN 그래프 구조를 사용할 경우 최고의 성능를 기록했으며, $k$ 값이 높아지면 노이즈가 포함된 연결이 생기고 성능이 저하되었고, 특히 Reddit-12K와 ENZYMES에서 두드러졌다.
• 제거 실험 결과 슈퍼클래스 헤드($C^{sup}$)가 필수적임을 확인했으며, 이를 제거하면 성능이 크게 떨어졌다(예: Letter-High에서 10-shot 설정에서 71.13% 대비 73.61%).
• 이 방법은 반감독 및 활성 학습 설정으로도 잘 일반화되어, 소수의 학습 외의 낮은 데이터 환경에서도 강건성과 적응성을 입증했다.