[논문 리뷰] Active Learning for Graph Neural Networks via Node Feature Propagation

Yuexin Wu, Yichong Xu외 3명|arXiv (Cornell University)|2019. 10. 16.

Advanced Graph Neural Networks참고 문헌 38인용 수 28

한 줄 요약

이 논문은 그래프 신경망(GNN)을 위한 새로운 주의적 학습 방법인 FeatProp을 제안한다. 이 방법은 노드 특징 전파를 통해 정보가 풍부한 노드를 선택한 후 K-Medoids 군집화를 수행한다. 그래프 구조화된 표현을 활용하여 표본 효율성과 일반화 성능을 향상시켜, 특히 낮은 레이블 레지임에서 최신 기준 성능을 초월한다.

ABSTRACT

Graph Neural Networks (GNNs) for prediction tasks like node classification or edge prediction have received increasing attention in recent machine learning from graphically structured data. However, a large quantity of labeled graphs is difficult to obtain, which significantly limits the true success of GNNs. Although active learning has been widely studied for addressing label-sparse issues with other data types like text, images, etc., how to make it effective over graphs is an open question for research. In this paper, we present an investigation on active learning with GNNs for node classification tasks. Specifically, we propose a new method, which uses node feature propagation followed by K-Medoids clustering of the nodes for instance selection in active learning. With a theoretical bound analysis we justify the design choice of our approach. In our experiments on four benchmark datasets, the proposed method outperforms other representative baseline methods consistently and significantly.

연구 동기 및 목표

• 그래프 신경망(GNN)의 노드 분류 작업에서 레이블 데이터가 제한된 문제에 대응하기 위해.
• 초기 학습된 GNN 표현에 민감하지 않고 노이즈 또는 정확도가 떨어지는 임bedding에 영향을 덜 받는 주의적 학습 방법을 개발하기 위해.
• 전파된 노드 특징의 기하학적 성질을 바탕으로 대표적인 노드를 선택하여 표본 효율성을 향상시키기 위해.
• 분류 손실과 전파된 특징의 기하학적 분포를 연결하는 이론적으로 탄탄한 방법을 제공하기 위해.
• 표준 그래프 벤치마크 데이터셋에서 기존 주의적 학습 기준 성능을 초월하기 위해.

제안 방법

• 사전 학습된 GNN를 사용해 그래프 구조를 통해 노드 특징을 전파하여 더 정보가 풍부한 표현을 생성하기 위해.
• 전파된 특징에 K-Medoids 군집화를 적용하여 다양하고 대표적인 노드를 초기 학습 세트로 선택하기 위해.
• 최종 GCN 레이어 표현을 기반으로 한 거리 함수를 사용해 군집화를 유도하여 군집 중심이 실제로 그래프 내의 노드가 되도록 보장하기 위해.
• 이론적 분석을 통해 전파된 특징의 기하학적 분포에 따라 분류 손실의 상한선을 도출하기 위해.
• 다른 성능과 내성에 대한 평가를 위해 Ablation 연구에서 K-Medoids를 K-Center로 대체하기 위해.
• 다양한 데이터셋과 레이블 예산에서 효과성을 검증하기 위해 Coreset 및 불확실성 기반 방법과 FeatProp을 비교하기 위해.

실험 결과

연구 질문

• RQ1 노드 특징 전파가 GNN 주의적 학습에서 대표적인 노드 선택에 기여하는가?
• RQ2 전파된 특징의 기하학적 분포가 낮은 레이블 레지임에서 GNN의 일반화 성능에 어떤 영향을 미치는가?
• RQ3 전파된 특징에 대해 K-Medoids 군집화가 K-Center나 다른 군집 전략보다 더 높은 성능을 내는가?
• RQ4 대부분의 표현 기반 기하학적 접근이 불확실성 기반 또는 중심성 기반 선택보다 주의적 학습에서 더 나은 성능을 내는가?
• RQ5 제안된 방법은 초기 모델 가중치가 열악하거나 GNN이 충분히 학습되지 않은 경우에도 안정적인가?

주요 결과

• FeatProp는 모든 네 가지 벤치마크 데이터셋(Cora, Citeseer, PubMed, Reddit)에서 Coreset 및 불확실성 기반 접근 방식을 포함한 모든 베이스라인 방법을 능가한다.
• Macro-F1 점수의 표준편차가 두 번째로 낮아, 특히 레이블 예산이 작은 경우 높은 안정성을 보이며.
• Ablation 연구에서 K-Medoids를 K-Center로 대체하면 성능이 크게 떨어지며, 이는 군집 중심으로 실제 노드를 사용하는 것이 중요하다는 것을 입증한다.
• 최종 GCN 레이어에서의 L2 거리 측정법을 사용할 경우, 제안된 방법보다 성능이 열 劣하며, 특히 레이블 수가 적고 초기 학습 단계에서 두드러진다.
• GNN이 충분히 학습되지 않은 상태에서도 FeatProp은 뛰어난 성능 유지를 보이며, 낮은 표현 품질에 대비한 강건성을 입증한다.
• 특히 Cora와 Citeseer에서 Coreset보다 뚜렷한 우월성을 보이며, Coreset-greedy가 CoresetMIP를 능가하는 것으로 나타나, Coreset의 가정이 그래프 구조화된 데이터에 잘 맞지 않는다는 것을 시사한다.