[논문 리뷰] Generalization in Graph Neural Networks: Improved PAC-Bayesian Bounds on Graph Diffusion

Haotian Ju, Dongyue Li외 2명|arXiv (Cornell University)|2023. 02. 09.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 그래프 신경망(GNNs)의 일반화 한계를 향상시키기 위해 최대 차수에 의존하는 기존 접근 방식을 그래프 확산 행렬의 스펙트럴 노름으로 대체함으로써 상당히 더 날카운 일반화 한계를 도출한다. PAC-베이지안 분석과 헤시안 기반 안정성 측도를 사용하여, 스펙트럴 노름에 비례하는 상한과 일치하는 하한을 유도하였으며, 실제 그래프에서 이론적 결과가 이전 방법보다 수 개의 지수 차수만큼 더 작다는 것을 경험적으로 검증하였다.

ABSTRACT

Graph neural networks are widely used tools for graph prediction tasks. Motivated by their empirical performance, prior works have developed generalization bounds for graph neural networks, which scale with graph structures in terms of the maximum degree. In this paper, we present generalization bounds that instead scale with the largest singular value of the graph neural network's feature diffusion matrix. These bounds are numerically much smaller than prior bounds for real-world graphs. We also construct a lower bound of the generalization gap that matches our upper bound asymptotically. To achieve these results, we analyze a unified model that includes prior works' settings (i.e., convolutional and message-passing networks) and new settings (i.e., graph isomorphism networks). Our key idea is to measure the stability of graph neural networks against noise perturbations using Hessians. Empirically, we find that Hessian-based measurements correlate with the observed generalization gaps of graph neural networks accurately. Optimizing noise stability properties for fine-tuning pretrained graph neural networks also improves test performance on several graph-level classification tasks.

연구 동기 및 목표

• 최대 차수에 비례하는 기존 GNN 일반화 한계의 약점을 해결하기 위해, 이는 종종 빈약한 한계를 초래한다.
• 실제 그래프 구조를 더 정확히 반영하는 더 날카운, 비빈약한 일반화 한계를 개발하기 위해.
• 메시지 전파, GCN, GIN 모델을 포함한 다양한 GNN 아키텍처에 대한 분석을 하나의 이론적 프레임워크로 통합하기 위해.
• 헤시안 기반 안정성과 GNN에서 관측된 일반화 갭 사이의 이론적 연결 고리를 설정하기 위해.
• 노이즈 안정성 최적화를 통해 사전 학습된 GNN의 미세조정을 향상시키기 위해.

제안 방법

• GCN, 메시지 전파 네트워크, GIN을 포함하는 통합 모델 프레임워크를 제안하여 공동 이론 분석을 가능하게 한다.
• PAC-베이지안 일반화 이론을 적용하여 노이즈 편향에 대한 안정성에 기반해 일반화 갭을 한정한다.
• 모델 가중치에 대한 손실의 헤시안 행렬을 사용하여 안정성을 측정하고 한계를 도출한다.
• 기존 한계에서 최대 차수에 의존하는 것을 그래프 확산 행렬 $P_G^{l-1}$의 스펙트럴 노름으로 대체한다.
• 일반화 갭의 상한을 도출하여 $\|P_G^{l-1}\|$에 비례함을 보인다. 이는 확산 행렬의 스펙트럴 노름이다.
• 일반화 갭이 $\|P_G^{l-1}\|$에 비례함을 보여주는 일치하는 하한 사례를 구성한다.

(a) Spectral norm vs. max degree for five graphs

실험 결과

연구 질문

• RQ1 최대 차수 대신 확산 행렬의 스펙트럴 노름을 사용함으로써 GNN의 일반화 한계를 향상시킬 수 있는가?
• RQ2 헤시안 기반 안정성은 GNN에서 실제 일반화 갭과 얼마나 관련이 있는가?
• RQ3 제안된 한계는 GCN, MPNN, GIN과 같은 다양한 GNN 아키텍처에 통합될 수 있는가?
• RQ4 일반화를 측정하는 데 있어 스펙트럴 노름은 최대 차수보다 더 나은 복잡도 측도인가?
• RQ5 미세조정 중 노이즈 안정성 최적화를 통해 그래프 수준 작업의 테스트 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 일반화 한계는 실제 그래프에서 최대 차수보다 수 개의 지수 차수만큼 더 작은 그래프 확산 행렬 $P_G^{l-1}$의 스펙트럴 노름에 비례한다.
• 경험 결과는 다양한 GNN 모델과 데이터셋에서 헤시안 기반 안정성 측도가 관측된 일반화 갭과 강하게 상관됨을 보여준다.
• 일반화 갭의 상한이 점 渐진적으로 하한과 일치함을 확인하여, 스펙트럴 노름이 복잡도 측도로서 날카로움을 입증한다.
• 다섯 개인 실제 그래프 데이터셋에서 스펙트럴 노름 기반 한계는 최대 차수에 비례하는 이전 한계보다 상당히 날카롭다.
• 미세조정 중 노이즈 안정성 최적화를 통해 그래프 수준 분류 작업에서 테스트 성능이 향상됨을 보여주며 실용적 유용성을 입증한다.
• 이론적 프레임워크는 GCN, MPNN, GIN 모델 간 분석을 통합하여 $\|P_G^{l-1}\|$에 대한 일관된 의존성을 보여준다.

(b) Comparing generalization bounds