[논문 리뷰] Graph Neural Tangent Kernel: Convergence on Large Graphs

Sanjukta Krishnagopal, Luana Ruiz|arXiv (Cornell University)|2023. 01. 25.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 점점 커지는 그래프의 시퀀스에서 그래프 신경망 탄성 커널(GNTK)의 극한으로서 그래프온 신경탄성커널(WNTK)을 도입하며, GNTK와 그 스펙트럼이 큰 그래프 근처에서 WNTK로 수렴함을 증명한다. 이는 GNTK 기반의 학습 동역학과 수렴 속도를 작은 그래프에서 큰 그래프로 이식할 수 있게 하여, 대규모 네트워크에서 GNN을 훈련할 때 커널 회귀를 통해 이론적 보장을 제공한다.

ABSTRACT

Graph neural networks (GNNs) achieve remarkable performance in graph machine learning tasks but can be hard to train on large-graph data, where their learning dynamics are not well understood. We investigate the training dynamics of large-graph GNNs using graph neural tangent kernels (GNTKs) and graphons. In the limit of large width, optimization of an overparametrized NN is equivalent to kernel regression on the NTK. Here, we investigate how the GNTK evolves as another independent dimension is varied: the graph size. We use graphons to define limit objects -- graphon NNs for GNNs, and graphon NTKs for GNTKs -- , and prove that, on a sequence of graphs, the GNTKs converge to the graphon NTK. We further prove that the spectrum of the GNTK, which is related to the directions of fastest learning which becomes relevant during early stopping, converges to the spectrum of the graphon NTK. This implies that in the large-graph limit, the GNTK fitted on a graph of moderate size can be used to solve the same task on the large graph, and to infer the learning dynamics of the large-graph GNN. These results are verified empirically on node regression and classification tasks.

연구 동기 및 목표

• 기존 분석이 어려운 대규모 그래프에서 과다매개변수화된 GNN의 훈련 동역학을 이해하기 위해.
• 그래프 크기가 증가함에 따라 GNTK의 극한 행동을 그래프온을 이론적 프레임워크로 공식화하기 위해.
• GNTK와 그 고유값이 잘 정의된 극한 객체인 그래프온 NTK(WNTK)로 수렴함을 확립하여 다양한 그래프 크기 간의 이식 가능성을 보장하기 위해.
• GNTK가 중간 크기의 그래프에서 학습된 동역학과 수렴 속도가 훨씬 큰 그래프에서 어떻게 예측 가능한지 이론적이고 실증적인 증거를 제공하기 위해.

제안 방법

• 기본 그래프 시퀀스가 그래프온 의미에서 수렴할 때, GNTK의 극한으로서 그래프온 NTK(WNTK)를 정의한다.
• 그래프온과 GNN 아키텍처에 대한 약한 정규성 조건 하에서, GNTK가 WNTK로 수렴함을 수학적 귀납법으로 증명한다.
• GNTK의 스펙트럼 수렴을 확립하여, GNTK의 고유값과 고유벡터가 WNTK의 고유값과 고유벡터로 수렴함을 보여준다.
• NTK 형식을 활용하여 GNN 훈련 동역학을 커널 회귀와 연결함으로써, 고유값 감쇠를 통한 수렴 속도 분석이 가능하게 한다.
• 그래프온 샘플링을 사용하여 크기가 점점 커지는 그래프의 시퀀스를 생성하여, GNTK와 고유값 행동의 수렴성을 실증적으로 검증한다.
• 소규모 그래프에서 GNTK를 사용해 커널 회귀를 수행하고, 그 모델을 더 큰 그래프로 이식하여 성능과 수렴 속도를 검증한다.

Figure 1: Difference between the test error achieved by the GNTK fitted on the $n$ -node graph when used for prediction the $n$ -node graph, and the test error achived by the same GNTK when used for predicition on the $N$ -node graph. (left) Opinion dynamics on geometric and SBM graphs, where the te

실험 결과

연구 질문

• RQ1 그래프 크기가 증가함에 따라 그래프 신경망 탄성 커널(GNTK)이 잘 정의된 극한 객체로 수렴하는가?
• RQ2 학습 속도가 다양한 고유방향에 따라 달라지는 데 관련된 GNTK의 스펙트럼—즉, 고유값이 그래프가 커지면서 극한으로 수렴하는가?
• RQ3 작은 그래프에서 학습된 GNTK를 사용해 훨씬 더 큰 그래프에서 GNN의 학습 동역학과 수렴 속도를 예측할 수 있는가?
• RQ4 실제 세계 및 합성 그래프 시퀀스에서 GNTK와 그 스펙트럼의 수렴 행동은 실증적으로 어떻게 나타나는가?

주요 결과

• GNTK는 그래프온 수렴 시퀀스에 대해 수학적 귀납법을 통해 증명된 lin, 큰 그래프 크기 근처에서 그래프온 NTK(WNTK)로 수렴한다.
• GNTK의 고유값은 WNTK의 고유값으로 수렴하며, 이는 주성분을 따라 수렴 속도와 같은 학습 동역학이 다양한 그래프 크기 간에 유지됨을 시사한다.
• Cora, CiteSeer, PubMed 인용 네트워크의 경우, GNTK의 주요 고유값은 그래프 크기가 증가함에 따라 안정화되며, PubMed를 제외한 모든 경우에서 1600노드 그래프가 전체 그래프 고유값의 약 70% 수준에 도달한다.
• 실증 결과로, 소규모 그래프에서 학습된 GNN과 GNTK는 넓이가 증가함에 따라 출력이 일치하고 분산이 감소함을 보여, NTK 근사가 타당함을 검증한다.
• 소규모 그래프에서 GNTK를 사용한 커널 회귀가 전체 큰 그래프에서 유사한 성능을 달성함으로써, 이론적 보장 하에 이식 가능성이 입증된다.
• GNTK 스펙트럼의 수렴은 작은 그래프에서 계산 가능한 그래프를 기반으로 큰 그래프에서의 GNN 수렴 속도를 추정하는 데 기여한다.

Figure 2: Projections of the inputs and outputs of the GNTK and GNN, and of the target or true labels onto the second eigenvector of the adjacency matrix of a $80$ -node SBM graph for widths $F=10$ (left), $F=50$ (center) and $F=250$ (right).