[논문 리뷰] Graph Random Neural Network.

Wenzheng Feng, Jie Zhang외 6명|arXiv (Cornell University)|2020. 05. 22.

Advanced Graph Neural Networks참고 문헌 61인용 수 7

한 줄 요약

Grand는 랜덤 전파를 사용하는 그래프 랜덤 신경망을 제안하여 준지도 학습에서 노드의 레이블 수가 적은 복잡한 그래프에 대해 강건성과 과적합을 개선한다. 특성 변환과 메시지 전파를 분리하고, 랜덤 증강에 대한 일관성 정규화를 활용함으로써 Grand는 기준 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

Graph neural networks (GNNs) have generalized deep learning methods into graph-structured data with promising performance on graph mining tasks. However, existing GNNs often meet complex graph structures with scarce labeled nodes and suffer from the limitations of non-robustness, over-smoothing, and overfitting. To address these issues, we propose a simple yet effective GNN framework---Graph Random Neural Network (Grand). Different from the deterministic propagation in existing GNNs, Grand adopts a random propagation strategy to enhance model robustness. This strategy also naturally enables Grand to decouple the propagation from feature transformation, reducing the risks of over-smoothing and overfitting. Moreover, random propagation acts as an efficient method for graph data augmentation. Based on this, we propose the consistency regularization for Grand by leveraging the distributional consistency of unlabeled nodes in multiple augmentations, improving the generalization capacity of the model. Extensive experiments on graph benchmark datasets suggest that Grand significantly outperforms state-of-the-art GNN baselines on semi-supervised graph learning tasks. Finally, we show that Grand mitigates the issues of over-smoothing and overfitting, and its performance is married with robustness.

연구 동기 및 목표

• 레이블이 적은 복잡한 그래프를 다루는 데 있어 기존 GNN의 한계를 해결한다.
• 결정적 GNN에서 흔히 발생하는 과적합과 과도한 스무딩 문제를 완화한다.
• 랜덤 전파 기반의 새로운 데이터 증강 전략을 통해 모델의 일반화 성능을 향상시킨다.
• 다중 랜덤 증강 간의 분포 안정성을 활용한 일관성 정규화 방법을 개발한다.
• 기준 준지도 그래프 학습 벤치마크에서 최신 기술 성능을 달성한다.

제안 방법

• GNN의 결정적 메시지 전파를 전방 전파 중 이웃을 확률적으로 샘플링하는 랜덤 전파 전략으로 대체한다.
• 특성 변환과 메시지 전파를 분리함으로써 과도한 스무딩과 과적합의 위험을 감소시킨다.
• 랜덤 전파 메커니즘을 사용해 다수의 랜덤 그래프 증강을 생성하여 입력 그래프의 다양한 시각을 만든다.
• 동일한 그래프의 다양한 랜덤 증강 간에 예측이 일관되도록 하여 일관성 정규화를 적용한다.
• 레이블이 있는 데이터와 증강된 데이터 간의 무라벨 노드에 대한 일관성 손실을 함께 사용해 모델을 종단 간(end-to-end)으로 훈련시킨다.
• 다중 랜덤 전방 전파에서 무라벨 노드의 예측 분포 일관성을 정규화자로 활용한다.

실험 결과

연구 질문

• RQ1 GNN에서 랜덤 전파가 복잡한 그래프 구조와 레이블 부족에 대해 강건성을 향상시킬 수 있는가?
• RQ2 메시지 전파와 특성 변환을 분리하면 GNN에서 과도한 스무딩과 과적합이 감소하는가?
• RQ3 랜덤 전파가 그래프 신경망을 위한 효과적인 데이터 증강 방법이 될 수 있는가?
• RQ4 랜덤 증강에 대한 일관성 정규화가 준지도 그래프 학습에서 일반화 성능을 향상시키는가?
• RQ5 제안된 프레임워크가 기준 준지도 그래프 학습 작업에서 최신 기술 GNN을 초월할 수 있는가?

주요 결과

• Grand는 표준 준지도 그래프 학습 벤치마크에서 기존 최신 기술 GNN 기반 모델들을 크게 앞서간다.
• 랜덤 전파 메커니즘이 특성 변환과 메시지 전파를 분리함으로써 과도한 스무딩을 효과적으로 감소시킨다.
• 다중 랜덤 증강에 대한 일관성 정규화가 모델의 일반화 성능과 강건성을 향상시킨다.
• 제한된 레이블 노드가 존재할 때도 Grand는 뛰어난 성능을 보이며, 더 높은 샘플 효율성을 나타낸다.
• 전파의 확률적 성격 덕분에 그래프 구조 변화와 노이즈에 대해 향상된 강건성을 보인다.