[논문 리뷰] Transductive Linear Probing: A Novel Framework for Few-Shot Node Classification

Zhen Tan, Song Wang외 3명|arXiv (Cornell University)|2022. 12. 11.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 적은 샘플에서의 노드 분류를 위한 새로운 프레임워크인 전도성 선형 탐색(TLP)을 제안한다. 이는 그래프 대비 학습(GCL)을 통해 사전 학습된 노드 임베딩을 전이하여, 적은 수의 레이블이 있는 노드에서 선형 분류기를 미세조정하는 방식이다. 놀랍게도, TLP는 사전 학습 단계에서 어떤 진짜 레이블도 사용하지 않았음에도 불구하고, 최신의 메타학습 방법보다 뛰어난 성능을 보이며, 낮은 감독 환경에서의 강건성과 전이 가능성(transferability)을 입증한다.

ABSTRACT

Few-shot node classification is tasked to provide accurate predictions for nodes from novel classes with only few representative labeled nodes. This problem has drawn tremendous attention for its projection to prevailing real-world applications, such as product categorization for newly added commodity categories on an E-commerce platform with scarce records or diagnoses for rare diseases on a patient similarity graph. To tackle such challenging label scarcity issues in the non-Euclidean graph domain, meta-learning has become a successful and predominant paradigm. More recently, inspired by the development of graph self-supervised learning, transferring pretrained node embeddings for few-shot node classification could be a promising alternative to meta-learning but remains unexposed. In this work, we empirically demonstrate the potential of an alternative framework, extit{Transductive Linear Probing}, that transfers pretrained node embeddings, which are learned from graph contrastive learning methods. We further extend the setting of few-shot node classification from standard fully supervised to a more realistic self-supervised setting, where meta-learning methods cannot be easily deployed due to the shortage of supervision from training classes. Surprisingly, even without any ground-truth labels, transductive linear probing with self-supervised graph contrastive pretraining can outperform the state-of-the-art fully supervised meta-learning based methods under the same protocol. We hope this work can shed new light on few-shot node classification problems and foster future research on learning from scarcely labeled instances on graphs.

연구 동기 및 목표

• 메타학습 기법이 기반 클래스 레이블이 풍부하고 에피소드 기반 학습에 의존하는 데에 기인하는 한계를 해결하기 위해.
• 그래프 대비 학습(GCL)을 통해 사전 학습된 노드 임베딩을 전이함으로써 메타학습의 대안이 될 수 있는지 탐색하기 위해.
• 메타학습이 레이블 부족으로 인해 비가능한 현실적인 자기지도 학습 설정에서 TLP의 성능을 평가하기 위해.
• GCL 사전 학습에서의 감독의 역할이 적은 샘플 노드 분류에 어떻게 영향을 미치는지 분석하기 위해.
• 일반화 가능한 GNN 인코더가 적은 샘플 노드 분류에 핵심적이라는 경험적 증거를 제공하기 위해.

제안 방법

• TLP는 그래프 대비 학습(GCL)을 통해 사전 학습된 노드 임베딩을, 새로운 클래스에서 소수의 레이블이 있는 지원 세트에 대해 미세조정된 선형 분류기로 전이한다.
• 이 프레임워크는 추론 시 전체 그래프 구조를 활용하는 전도적 설정에서 작동하여 예측 정확도를 향상시킨다.
• 두 가지 변형이 제안된다: 자기지도 GCL(예: GraphCL, SUGRL)를 사용하는 TLP와 감독 GCL(예: GraphCL*)를 사용하는 TLP.
• 에피소드 기반 학습과 메타 최적화를 회피하고, GCL로 학습된 표현의 일반화 능력을 활용한다.
• 노드 표현은 지원 세트에서 교차 엔트로피 손실을 사용한 선형 헤드를 통해 미세조정되며, GNN 인코더는 동결된 상태로 유지된다.
• 실험은 여섯 개의 실세계 데이터셋에서 동일한 평가 프rotocol를 기반으로 TLP를 메타학습 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 자기지도 GCL 사전 학습을 사용한 전도적 선형 탐색이, 사전 학습 단계에서 어떤 레이블도 사용하지 않음에도 불구하고 메타학습을 능가할 수 있는가?
• RQ2 GCL 사전 학습 단계에서 레이블이 존재하거나 존재하지 않을 경우, TLP의 적은 샘플 노드 분류 성능에 어떤 영향을 미치는가?
• RQ3 왜 메타학습 기법은 CiteSeer와 같이 클래스 수가 적은 데이터셋에서 성능이 열 劣하고, TLP는 이를 어떻게 완화하는가?
• RQ4 GCL를 통해 학습된 노드 표현의 품질이 적은 샘플 분류 성공에 얼마나 기여하는가?
• RQ5 낮은 레이블 환경에서 메타학습과 TLP 프레임워크 간에 확장성과 적응성 사이에 상충 관계가 존재하는가?

주요 결과

• TLP는 사전 학습 단계에서 어떤 진짜 레이블도 사용하지 않았음에도 불구하고, CoraFull과 CiteSeer에서 최신 메타학습 방법을 모두 능가한다.
• CiteSeer에서는 메타학습과 TLP 간의 성능 격차가 CoraFull보다 더 크며, 이는 메타학습이 레이블 다양성이 제한된 경우에 더 어려움을 겪음을 시사한다.
• 자기지도 GCL을 사용한 TLP는 감독 GCL을 사용한 TLP보다 더 좋은 클러스터링 성능을 보이며, 이는 레이블 편향을 피함으로써 새로운 클래스로의 일반화 능력 향상에 기여함을 시사한다.
• t-SNE 시각화 결과, TLP는 특히 CiteSeer에서 메타학습보다 더 구분력 있고 분리 가능한 노드 표현을 학습함을 보여준다.
• TLP의 NMI와 ARI 점수는 모든 데이터셋에서 메타학습보다 뚜렷하게 높으며, 특히 CiteSeer에서 가장 큰 향상을 보였다.
• TLP는 낮은 감독 환경에서 뛰어난 확장성과 일반화 능력을 보이며, 메타학습의 실용적 대안으로서의 잠재력을 입증한다.