[논문 리뷰] The Snowflake Hypothesis: Training Deep GNN with One Node One Receptive field

Kun Wang, Guohao Li외 7명|arXiv (Cornell University)|2023. 08. 19.

Advanced Graph Neural NetworksComputer Science인용 수 3

한 줄 요약

이 논문은 각 노드가 고유하고 적응형 수신 필드를 가져야 한다는 원칙에 기반하여, 깊은 그래프 신경망(GNN)을 위한 새로운 학습 프레임워크인 스노우플레이크 가설을 제안한다. 기울기 기반 및 노드 수준의 코사인 거리 신호를 사용하여 인접 행렬을 동적으로 정리하고, 각 노드별로 메시지 전파를 조기에 종료함으로써, 과도한 스무딩을 완화하고 깊은 GNN의 안정적인 학습(최대 64층)을 가능하게 한다. 이는 JKNet, ResGCN, GIN 등의 다양한 베이스라인과 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Despite Graph Neural Networks demonstrating considerable promise in graph representation learning tasks, GNNs predominantly face significant issues with over-fitting and over-smoothing as they go deeper as models of computer vision realm. In this work, we conduct a systematic study of deeper GNN research trajectories. Our findings indicate that the current success of deep GNNs primarily stems from (I) the adoption of innovations from CNNs, such as residual/skip connections, or (II) the tailor-made aggregation algorithms like DropEdge. However, these algorithms often lack intrinsic interpretability and indiscriminately treat all nodes within a given layer in a similar manner, thereby failing to capture the nuanced differences among various nodes. To this end, we introduce the Snowflake Hypothesis -- a novel paradigm underpinning the concept of ``one node, one receptive field''. The hypothesis draws inspiration from the unique and individualistic patterns of each snowflake, proposing a corresponding uniqueness in the receptive fields of nodes in the GNNs. We employ the simplest gradient and node-level cosine distance as guiding principles to regulate the aggregation depth for each node, and conduct comprehensive experiments including: (1) different training schemes; (2) various shallow and deep GNN backbones, and (3) various numbers of layers (8, 16, 32, 64) on multiple benchmarks (six graphs including dense graphs with millions of nodes); (4) compare with different aggregation strategies. The observational results demonstrate that our hypothesis can serve as a universal operator for a range of tasks, and it displays tremendous potential on deep GNNs. It can be applied to various GNN frameworks, enhancing its effectiveness when operating in-depth, and guiding the selection of the optimal network depth in an explainable and generalizable way.

연구 동기 및 목표

• 깊은 GNN에서의 과도한 스무딩과 과적합 문제를 해결하여 모델의 깊이와 성능을 향상시키기 위해.
• 모든 노드를 동일하게 다루고 해석이 어려운 기존 방법(예: 잔차 연결, 엣지 드롭 전략)의 한계를 극복하기 위해.
• 노드별로 다른 집합 깊이를 허용함으로써 일반화 가능하고 해석 가능하며 확장 가능한 깊은 GNN 학습 방법을 개발하기 위해.
• 다양한 GNN 아키텍처, 학습 방식, 그래프 유형(대규모 조밀한 그래프 포함)에 걸쳐 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 스노우플레이크 가설 제안: GNN 내 각 노드는 눈송이의 유일성과 유사하게 고유하고 개별화된 수신 필드를 가져야 한다.
• 각 노드의 메시지 전파를 언제 멈출지 결정하기 위해 기울기 크기와 은닉 표현 간의 노드 수준 코사인 거리를 신호로 사용한다.
• 이러한 신호에 기반해 요소 수준의 인접 행렬 정리 기법을 적용함으로써, 각 노드별로 집합 깊이를 조기에 종료할 수 있도록 한다.
• 아키텍처 변경 없이 다양한 GNN 베이스라인(GCN, GIN, GAT, JKNet, ResGCN 등)에 통합 가능한 일반적인 연산자로 통합한다.
• 표준 학습 방식을 사용해 깊이를 점차 증가시켜(8, 16, 32, 64층) 학습을 수행하며, 코사인 거리 임계값에 기반한 조기 정지 전략을 적용한다.
• Cora, PubMed, 인용 네트워크를 포함한 6개의 벤치마크 그래프에서 다양한 설정 하에 성능을 평가한다.

실험 결과

연구 질문

• RQ1 균일한 집합 전략에 비해 노드별로 적응형 수신 필드 전략이 깊은 GNN에서 과도한 스무딩을 더 효과적으로 줄일 수 있는가?
• RQ2 기울기 및 코사인 거리 신호 기반의 동적 조기 정지 전략이 다양한 아키텍처에서 깊은 GNN의 일반화 능력과 성능을 향상시키는가?
• RQ3 제안된 방법이 아키텍처 수정 없이 다양한 GNN 베이스라인과 학습 방식에 일반적으로 적용 가능한가?
• RQ4 표준 GCN 및 최고 성능을 기록하는 깊은 GNN과 비교해, 매우 깊은 GNN(예: 64층)에서 이 방법의 성능은 어떠한가?
• RQ5 이 방법의 성능가 그래프의 동질성에 얼마나 의존하는가? 낮은 동질성 그래프에서는 어떻게 대처하는가?

주요 결과

• SnoHv2는 8층 모델에서 Cora(85.68%), PubMed(86.56%), citepseer(73.24%)에서 SOTA 성능을 기록하며 GCN 및 기타 베이스라인을 초월한다.
• 16층 모델에서 SnoHv2는 Cora(84.19%), PubMed(85.79%)에서 강력한 성능 유지를 보이며 깊은 환경에서도 안정성을 입증한다.
• 32층 모델에서 SnoHv2는 Cora(83.09%), PubMed(84.06%)에서 GCN(80.33%, 83.76%) 및 기타 정리 기반 베이스라인보다 뚜렷이 뛰어난 성능을 기록한다.
• 이 방법은 베이스라인 간 일반화 가능성이 높으며, PubMed 및 citepseer에서 GIN 및 GAT 모델의 성능을 향상시켜 GCN 외부에서도 강력함을 입증한다.
• Arxiv(동질성 0.635)와 같은 낮은 동질성 그래프에서도 SnoHv2는 경쟁 가능한 성능을 유지하여 이질성에 대한 강건성을 보여준다.
• 이 방법은 64층 GNN의 안정적 학습을 가능하게 하며, 깊이가 증가할수록 정리 비율이 증가함으로써 일부 노드에 대해서는 얕은 집합이 충분함을 시사한다.