[논문 리뷰] A PAC-Bayesian Approach to Generalization Bounds for Graph Neural Networks

Renjie Liao, Raquel Urtasun외 1명|arXiv (Cornell University)|2020. 12. 14.

Advanced Graph Neural Networks참고 문헌 27인용 수 13

한 줄 요약

이 논문은 그래프 신경망(GNN)의 두 주요 유형인 그래프 컬러션 네트워크(GCNs)와 메시지 전달 GNNs(MPGNNs)에 대한 PAC-Bayesian 일반화 경계를 개발한다. 일반화 오차는 가중치의 스펙트럴 노름과 최대 노드 차수에 의해 결정되며, 이 경계는 완전히 연결된 네트워크와 컨볼루션 네트워크에 대한 이전 결과를 일반화하고, 기존의 Rademacher 복잡도 경계보다 그래프 구조와 은닉 차원 크기에 대한 의존성을 더 견고하게 개선한다.

ABSTRACT

In this paper, we derive generalization bounds for the two primary classes of graph neural networks (GNNs), namely graph convolutional networks (GCNs) and message passing GNNs (MPGNNs), via a PAC-Bayesian approach. Our result reveals that the maximum node degree and spectral norm of the weights govern the generalization bounds of both models. We also show that our bound for GCNs is a natural generalization of the results developed in arXiv:1707.09564v2 [cs.LG] for fully-connected and convolutional neural networks. For message passing GNNs, our PAC-Bayes bound improves over the Rademacher complexity based bound in arXiv:2002.06157v1 [cs.LG], showing a tighter dependency on the maximum node degree and the maximum hidden dimension. The key ingredients of our proofs are a perturbation analysis of GNNs and the generalization of PAC-Bayes analysis to non-homogeneous GNNs. We perform an empirical study on several real-world graph datasets and verify that our PAC-Bayes bound is tighter than others.

연구 동기 및 목표

• PAC-Bayesian 프레임워크를 사용하여 그래프 신경망(GNNs)의 일반화 경계를 유도하기.
• 그래프 구조, 특히 최대 노드 차수와 가중치의 스펙트럴 노름이 GNNs의 일반화에 어떻게 영향을 미치는지 이해하기.
• 완전히 연결된 네트워크와 컨볼루션 네트워크에 대한 기존의 일반화 경계를 GNNs로 확장하여, 간선이 없는 경우의 특수한 경우에서 자연스러운 일반화임을 보여주기.
• MPGNNs에 대한 기존의 Rademacher 복잡도 기반 경계를 개선하여 최대 노드 차수와 은닉 차원 크기에 대한 의존성을 더 견고하게 만들기.
• 비균일한 GNNs에 특화된 새로운 증명 기법을 개발하기. 이에는 벡터 2-노름 기반의 펌터베이션 분석과 PAC-Bayes 분석을 위한 유한 커버링 구성이 포함된다.

제안 방법

• Neyshabur 등(2017)의 PAC-Bayesian 프레임워크를 GNNs에 적용하기 위해, 스펙트럴 노름 하에서 ReLU의 비1-Lipschitz 성질로 인해 새로운 적응이 필요하다.
• 노드 표현에 대해 최대 ℓ₂ 노름을 갖는 재귀적 분석을 구성하여, 벡터 2-노름 기반의 펌터베이션 분석이 가능하게 하여 직접적인 스펙트럴 노름 펌터베이션의 한계를 극복한다.
• PAC-Bayes 제약 조건을 만족하고 비균일한 GNNs에 대해 유한 커버링을 유도하는 새로운 가중치 기반 양상을 도입하여, 일반화를 MPGNNs로 확장한다.
• GCNs에 대한 일반화 경계를 도출하여, 각 층의 스펙트럴 노름의 곱에 d^{(l-1)/2} 요소가 곱해진 형태를 보여주며, 여기서 d는 최대 노드 차수이고 l은 깊이이다.
• MPGNNs에 대한 경계를 도출하여 스펙트럴 노름에 대한 유사한 의존성과 d^{l-1} 요소를 보여주며, 이는 메시지 전달의 누적 효과와 그래프 구조를 반영한다.
• 이론적 프레임워크에서 유도된 식과 상수를 사용하여 실제 및 합성 데이터셋에서 경계 값의 수치적 계산과 비교를 수행한다.

실험 결과

연구 질문

• RQ1 최대 노드 차수와 가중치의 스펙트럴 노름과 같은 그래프 구조 통계량이 GNNs의 일반화에 어떻게 영향을 미치는가?
• RQ2 PAC-Bayesian 프레임워크는 비균일한 GNNs, 예를 들어 f(ax) = af(x)를 만족하지 않는 메시지 전달 GNNs로 확장될 수 있는가?
• RQ3 GCNs에 대한 일반화 경계는 완전히 연결된 네트워크와 컨볼루션 네트워크에 대한 기존 경계의 자연스러운 확장인가?
• RQ4 Garg 등(2020)의 Rademacher 복잡도 기반 경계와 비교했을 때, 제안된 MPGNNs에 대한 PAC-Bayes 경계는 얼마나 더 견고한가?
• RQ5 다양한 실제 및 합성 그래프 데이터셋에서 이론적 경계는 경험적 성능과 상관관계가 있는가?

주요 결과

• GCNs에 대한 일반화 경계는 최대 노드 차수 d와 네트워크 깊이 l에 대해 곱해진 d^{(l-1)/2} 요소를 포함하며, d=1인 경우(즉, 간선이 없는 경우) 기존의 ReLU 네트워크 경계로 축소된다.
• MPGNNs의 경계는 스펙트럴 노름의 기하급수적 합과 d^{l-1} 요소에 의존하며, 이는 층 간 메시지 전달의 누적 효과와 그래프 구조를 반영한다.
• 제안된 MPGNNs에 대한 PAC-Bayes 경계는 최대 노드 차수와 최대 은닉 차원 크기에 대한 의존성을 강화함으로써 Rademacher 복잡도 기반 경계를 개선한다.
• 실제 데이터셋(PROTEINS, IMDB, COLLAB)에서의 경험적 평가 결과, PAC-Bayes 경계는 항상 Rademacher 경계보다 더 견고하며, l=2일 경우 경계 값의 로그에서 최대 2.36의 감소, l=4일 경우 최대 1.94의 감소를 보였다.
• 합성 데이터셋(ER 및 SBM)에서는 l=8, 작은 d인 경우를 제외하고 모든 경우에서 PAC-Bayes 경계가 더 견고했으며, 이 경우 d^{l-1} 항의 l에 대한 이차적 의존성이 지배적으로 작용하기 시작했다.
• 실제 및 합성 데이터에서 계산된 경계 값들은 이론적 경계가 모델 깊이와 그래프 복잡도에 따라 적절하게 스케일링됨을 확인하였으며, 이는 실용적 관련성을 뒷받침한다.