[논문 리뷰] Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels

Simon S. Du, Kangcheng Hou외 4명|arXiv (Cornell University)|2019. 05. 30.

Advanced Graph Neural Networks참고 문헌 33인용 수 74

한 줄 요약

그래프 신경망 접선 커널(GNTK)을 도입합니다. 이는 gradient descent로 학습되는 무한히 넓은 GNN과 대응하는 커널로, 커널의 학습 및 해석 용이성을 유지하면서 그래프 분류에서 강력한 성능을 달성합니다.

ABSTRACT

While graph kernels (GKs) are easy to train and enjoy provable theoretical guarantees, their practical performances are limited by their expressive power, as the kernel function often depends on hand-crafted combinatorial features of graphs. Compared to graph kernels, graph neural networks (GNNs) usually achieve better practical performance, as GNNs use multi-layer architectures and non-linear activation functions to extract high-order information of graphs as features. However, due to the large number of hyper-parameters and the non-convex nature of the training procedure, GNNs are harder to train. Theoretical guarantees of GNNs are also not well-understood. Furthermore, the expressive power of GNNs scales with the number of parameters, and thus it is hard to exploit the full power of GNNs when computing resources are limited. The current paper presents a new class of graph kernels, Graph Neural Tangent Kernels (GNTKs), which correspond to infinitely wide multi-layer GNNs trained by gradient descent. GNTKs enjoy the full expressive power of GNNs and inherit advantages of GKs. Theoretically, we show GNTKs provably learn a class of smooth functions on graphs. Empirically, we test GNTKs on graph classification datasets and show they achieve strong performance.

연구 동기 및 목표

• 그래프 커널의 쉬운 훈련과 이론적 보장과 그래프 신경망의 표현력을 결합하는 이점을 동력으로 삼는다.
• 넓은 범주의 GNN을 Graph Neural Tangent Kernel(GNTK)으로 변환하는 일반적인 레시피를 제안한다.
• 특정 조건에서 GNTK가 매끄러운 그래프 함수를 다항 샘플 복잡도로 학습한다는 이론적 보장을 제공한다.
• 표준 그래프 분류 벤치마크에서 GNTK를 실증적으로 검증하고 최첨단 방법과 비교한다.]
• method [
• 다양한 GNN(GIN, GCN, JK-Net 포함)을 닫힌 형식의 계층별 공분산 재귀를 도출하여 해당 GNTK로 변환한다.
• 무한 너비 NTK 이론을 활용하여 학습 없이 그래도 그래프 G와 G'의 쌍별 커널 값 Theta(G, G')를 분석적으로 계산한다.
• SIGMA 및 중간 커널 Theta를 BLOCK 및 READOUT 연산을 통해 전파하는 동적 프로그래밍 접근법을 사용한다.
• 최종 GNTK 값을 그래프 쌍에 대해 얻기 위해 Jumping Knowledge를 포함하거나 포함하지 않는 Readout 스텝을 제공한다.
• 특정 데이터 생성을 가정하에 간단한 GNN 기반 GNTK의 일반화 분석을 제시하고 샘플 복잡도를 포함한다.

제안 방법

• 다양한 GNN(GIN, GCN, JK-Net 포함)을 닫힌 형식의 계층별 공분산 재귀를 도출하여 해당 GNTK로 변환한다.
• 무한 너비 NTK 이론을 활용하여 학습 없이 그래도 그래프 G와 G'의 쌍별 커널 값 Theta(G, G')를 분석적으로 계산한다.
• Sigma 및 중간 커널 Theta를 BLOCK 및 READOUT 연산을 통해 전파하는 동적 프로그래밍 접근법을 사용한다.
• 최종 GNTK 값을 그래프 쌍에 대해 얻기 위해 Jumping Knowledge를 포함하거나 포함하지 않는 Readout 스텝을 제공한다.
• 특정 데이터 생성을 가정하에 간단한 GNN 기반 GNTK의 일반화 분석을 제시하고 샘플 복잡도를 포함한다.

실험 결과

연구 질문

• RQ1 GNN의 표현력을 가지면서도 그래프 커널의 학습 가능성과 보장을 유지하는 커널을 구성할 수 있을까?
• RQ2 일반적인 GNN 아키텍처를 대응하는 GNTK로 체계적으로 변환하고 그래프 유사도를 효율적으로 계산하는 방법은 무엇인가?
• RQ3 GNTK가 매끄러운 그래프 함수에 대해 이론적 일반화 보장 및 다항 샘플 학습 가능성을 제공하는가?
• RQ4 GNTK가 표준 그래프 분류 벤치마크에서 최첨단 GNN 및 그래프 커널과 비교하여 성능을 발휘하는가?

주요 결과

• GNTK는 COLLAB에서 83.6%, PTC에서 67.9%로 일부 그래프 분류 데이터셋에서 최첨단 또는 강력한 성능을 달성하며 다수의 베이스라인을 능가한다.
• GNTK는 사회 네트워크 및 생정보학 그래프에서 대응하는 GNN 베이스라인보다 종종 우수하며, 일부 설정(IMDB-B)에서 더 빠른 계산을 제공하기도 한다.
• 깊은 집계(BLOСK 증가) 및 Jumping Knowledge를 적용하면 GNTK 성능이 향상되는 경향이 있어 GNN의 이점을 계승한다는 것을 실증적으로 보여준다.
• GK/GNN 융합에 대한 다항 샘플 크기 일반화 분석을 제시하며 특정 GNTK 변형은 다항 샘플 복잡도로 매끄러운 그래프 함수를 학습할 수 있음을 보인다.
• GNTKs는 학습 및 해석 측면에서 커널 수준의 다루기 쉬움을 유지하는 한편, GNN의 고차 다층 정보를 포착한다.