[논문 리뷰] Graph Random Neural Network for Semi-Supervised Learning on Graphs

Wenzheng Feng, Jie Zhang외 7명|arXiv (Cornell University)|2020. 05. 22.

Advanced Graph Neural Networks참고 문헌 49인용 수 23

한 줄 요약

이 논문은 그래프에서의 절반 감독 노드 분류를 위한 단순하면서도 효과적인 프레임워크인 그래프 랜덤 신경망(Grand)을 제안한다. Grand는 그래프 데이터 증강을 위한 무작위 전파와 일致성 정규화를 사용하여 강건성과 일반화 능력을 향상시키며, 저표본 설정에서 과도하게 부드러워짐과 과적합을 완화하면서 최신 기술 수준의 GNN보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

We study the problem of semi-supervised learning on graphs, for which graph neural networks (GNNs) have been extensively explored. However, most existing GNNs inherently suffer from the limitations of over-smoothing, non-robustness, and weak-generalization when labeled nodes are scarce. In this paper, we propose a simple yet effective framework -- GRAPH RANDOM NEURAL NETWORKS (GRAND) -- to address these issues. In GRAND, we first design a random propagation strategy to perform graph data augmentation. Then we leverage consistency regularization to optimize the prediction consistency of unlabeled nodes across different data augmentations. Extensive experiments on graph benchmark datasets suggest that GRAND significantly outperforms state-of-the-art GNN baselines on semi-supervised node classification. Finally, we show that GRAND mitigates the issues of over-smoothing and non-robustness, exhibiting better generalization behavior than existing GNNs. The source code of GRAND is publicly available at https://github.com/Grand20/grand.

연구 동기 및 목표

• 라벨된 노드가 적을 때 발생하는 과도하게 부드러워짐, 강건성 부족, 과적합 등의 문제를 해결하기 위해 기존 GNN의 한계를 해결한다.
• 특정 이웃 구조에 대한 의존도를 줄이기 위해 특성 전파와 변환을 분리함으로써 모델의 일반화 능력을 향상시킨다.
• 무작위 전파 기반의 데이터 증강 전략을 개발하여 레이블이 없는 노드에 대해 다양한 일관성 있는 표현을 생성한다.
• 동일한 레이블이 없는 노드에 대한 다수의 무작위 증강 간의 예측 변동을 최소화함으로써 일치성 정규화를 적용하여 모델의 강건성과 성능을 향상시킨다.
• 적절한 정규화를 갖춘 간단한 MLP 분류기가 복잡한 GNN 아키텍처를 능가할 수 있음을 입증한다.

제안 방법

• 무작위 전파 도입: 그래프 컨볼루션 이전에 노드 특징을 무작위로 제거(일부 또는 전부)하여 랜덤 메시지 전달을 생성한다.
• 전파 과정과 변환 과정을 분리하기 위해 전파 이전에 무작위 편향을 적용함으로써, 복잡도 증가 없이 고차원 메시지 전달을 가능하게 한다.
• 그래프의 동질성 성질을 활용하여, 무작위 전파가 각 노드에 대해 다양하면서도 의미적으로 일관된 증강을 생성할 수 있음을 정당화한다.
• 동일한 레이블이 없는 노드에 대한 다수의 무작위 증강 간의 예측 분산을 최소화함으로써 일치성 정규화를 적용한다.
• 레이블이 있는 노드에 대해 교차 엔트로피 손실을 사용하고, 레이블이 없는 노드에 대해 일치성 손실을 적용하여 단순한 MLP 분류기를 사용해 모델을 훈련시킨다.
• 무작위 전파와 일치성 정규화가 모델 행동에 미치는 영향을 이해하기 위해 이론적 분석을 제공한다.

실험 결과

연구 질문

• RQ1 GNN에서의 무작위 전파가 적대적 흐름과 데이터 노이즈에 대해 강건성을 향상시킬 수 있는가?
• RQ2 전파 과정과 변환 과정을 분리함으로써 깊은 GNN에서의 과도하게 부드러워짐 현상을 줄일 수 있는가?
• RQ3 무작위 증강에 대한 일치성 정규화가 저표본 절반 감독 학습에서 일반화 능력을 향상시킬 수 있는가?
• RQ4 무작위 전파와 일치성 정규화를 갖춘 단순한 MLP 기반 모델이 복잡한 GNN 아키텍처와 경쟁력을 가질 수 있는가?
• RQ5 Grand는 다양한 레이블 비율과 그래프 구조에서 최신 기술 수준의 GNN과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• Grand는 절반 감독 노드 분류를 위한 여러 벤치마크 데이터셋에서 최신 기술 수준의 GNN 기반 모델을 뚜렷이 능가한다.
• 전파와 변환을 분리함으로써 과도하게 부드러워짐을 완화하고, 성능 저하 없이 더 깊은 메시지 전달을 가능하게 한다.
• 특성 전파의 확률적 성격 덕분에 적대적 공격에 대해 향상된 강건성을 보인다.
• 무작위 증강 간의 일치성 정규화가 레이블 데이터가 적을 경우 특히 일반화 능력을 향상시킨다.
• 실험 결과, 복잡한 GNN보다 단순한 MLP 분류기만으로도 Grand가 더 뛰어난 성능을 달성함을 입증한다.
• 이론적 분석은 무작위 전파와 일치성 정규화가 훈련 안정성 향상과 일반화 능력 향상에 효과적임을 뒷받침한다.