[논문 리뷰] Evaluating Deep Graph Neural Networks

Wentao Zhang, Zeang Sheng외 5명|arXiv (Cornell University)|2021. 08. 02.

Advanced Graph Neural Networks참고 문헌 59인용 수 16

한 줄 요약

이 논문은 깊은 그래프 신경망(GNNs)에서 깊은 전파로 인한 과도한 스무딩과 깊은 변환으로 인한 모델 열화를 핵심적인 제약으로 규명한다. 이를 바탕으로 전파와 변환을 분리하는 DGMLP라는 분리형 GNN 프레임워크를 제안하며, 확장 가능한 깊은 아키텍처를 가능하게 하고 적응형 깊이 제어 기능을 제공함으로써 대규모 그래프에서 최고 수준의 정확도, 희소성에 대한 강건성 및 높은 효율성을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have already been widely applied in various graph mining tasks. However, they suffer from the shallow architecture issue, which is the key impediment that hinders the model performance improvement. Although several relevant approaches have been proposed, none of the existing studies provides an in-depth understanding of the root causes of performance degradation in deep GNNs. In this paper, we conduct the first systematic experimental evaluation to present the fundamental limitations of shallow architectures. Based on the experimental results, we answer the following two essential questions: (1) what actually leads to the compromised performance of deep GNNs; (2) when we need and how to build deep GNNs. The answers to the above questions provide empirical insights and guidelines for researchers to design deep and well-performed GNNs. To show the effectiveness of our proposed guidelines, we present Deep Graph Multi-Layer Perceptron (DGMLP), a powerful approach (a paradigm in its own right) that helps guide deep GNN designs. Experimental results demonstrate three advantages of DGMLP: 1) high accuracy -- it achieves state-of-the-art node classification performance on various datasets; 2) high flexibility -- it can flexibly choose different propagation and transformation depths according to graph size and sparsity; 3) high scalability and efficiency -- it supports fast training on large-scale graphs. Our code is available in https://github.com/zwt233/DGMLP.

연구 동기 및 목표

• 깊은 GNN의 근본적인 제약을 체계적으로 평가하고, 특히 깊은 아키텍처에서의 성능 열화를 규명하는 것.
• 깊은 GNN에서 성능 저하의 근본 원인을 분석하고, 과도한 스무딩, 과적합 및 얽힘 현상에 대한 일반적인 가정을 도전하는 것.
• 깊고 정확하며 확장 가능한 GNN를 구축하기 위한 경험적 통찰과 설계 지침을 제공하는 것.
• 대규모 전파 및 변환 깊이를 지원하면서도 높은 유연성과 효율성을 확보한 새로운 GNN 아키텍처인 DGMLP를 개발하고 검증하는 것.

제안 방법

• 임베딩 전파(EP)와 임베딩 변환(ET)을 별개의 모듈로 분리한 분리형 아키텍처를 제안한다.
• 노드별로 국소적 구조에 기반해 각 노드의 표현 스무딩 정도를 동적으로 제어하는 노드 적응형 조합 메커니즘을 도입한다.
• 학습 가능한 깊이를 가진 다층 퍼셉트론(MLP)을 사용해 변환 깊이에 대한 탄력적인 제어를 가능하게 한다.
• 온도 조절 기반 소프트 라우팅 메커니즘을 활용해 다양한 전파 레이어의 기여도를 균형 있게 조절함으로써 과도한 스무딩을 감소시킨다.
• 그래프 크기와 희소성에 따라 전파 깊이($D_p$)와 변환 깊이($D_t$)를 별도로 확장 가능하게 지원한다.
• 과도한 스무딩을 정량적으로 분석하고 비교하기 위해 그래프 스무딩 수준(GSL)을 메트릭으로 사용한다.

실험 결과

연구 질문

• RQ1 GNN에서 깊은 컨볼루션 연산의 쌓음이 실제로 무엇으로 제한되는가? 그리고 EP와 ET를 분리함으로써 더 많은 전파 단계를 허용할 수 있는 이유는 무엇인가?
• RQ2 과도한 스무딩을 초월해 깊은 GNN에서 성능 열화가 발생하는 원인은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ3 그래프의 크기와 희소성 등의 특성에 따라 전파 깊이($D_p$)와 변환 깊이($D_t$)는 어떻게 설정되어야 하는가?
• RQ4 분리형이며 깊은 GNN 아키텍처가 기존 최고 성능(SOTA) 모델보다 정확도, 확장성 및 강건성 측면에서 뛰어나게 성능을 낼 수 있는가?

주요 결과

• DGMLP는 일곱 개의 실세계 데이터셋에서 노드 분류 작업에서 SGC, DAGNN, S²GC, GBP를 모두 능가하며, 특히 높은 전파 깊이에서 두각을 나타낸다.
• 전파 깊이 $D_p$가 100에 도달할 때 DGMLP는 $D_p=5$인 SGC보다 높은 그래프 스무딩 수준(GSL)을 유지함으로써 과도한 스무딩에 대한 뛰어난 강건성을 입증한다.
• PubMed 데이터셋에서 특성 희소성이 10%일 경우 DGMLP의 정확도는 약간만 감소하지만, 모든 베이스라인 모델을 능가하며 강인한 간섭 저항 능력을 보여준다.
• 클래스당 학습 노드 수가 11개일 때 DGMLP는 클래스당 20개의 노드로 학습한 SGC와 유사한 성능을 달성함으로써 높은 샘플 효율성을 입증한다.
• $D_t$가 10을 초과해 증가함에 따라 SGC 및 DAGNN와 같은 베이스라인 모델은 성능이 심각하게 열화되지만, DGMLP는 성능을 유지하거나 향상시키며 모델 열화에 대한 강건성을 입증한다.
• ogbn-arxiv에서 $D_p=20$ 및 $D_t=10$ 조건에서 DGMLP는 최고 수준의 정확도를 달성하며, 성능 붕괴 없이 깊이를 확장할 수 있음을 확인한다.