[논문 리뷰] Learning Theory Can (Sometimes) Explain Generalisation in Graph Neural Networks

Pascal Esser, Leena Chennuru Vankadara외 1명|arXiv (Cornell University)|2021. 12. 07.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 특정 분포 가정 하에서 고전적인 학습 이론적 측정치, 특히 전도적 Rademacher 복잡도가 그래프 신경망(GNNs)의 일반화를 효과적으로 설명할 수 있음을 보여준다. 스토케스틱 블록 모델을 사용하여 전도적 노드 분류 설정에서 GCN의 엄밀한 일반화 오차 한계를 제시하며, 그래프 구조와 아키텍처 선택이 일반화 성능에 영향을 준다는 것을 보여준다.

ABSTRACT

In recent years, several results in the supervised learning setting suggested that classical statistical learning-theoretic measures, such as VC dimension, do not adequately explain the performance of deep learning models which prompted a slew of work in the infinite-width and iteration regimes. However, there is little theoretical explanation for the success of neural networks beyond the supervised setting. In this paper we argue that, under some distributional assumptions, classical learning-theoretic measures can sufficiently explain generalization for graph neural networks in the transductive setting. In particular, we provide a rigorous analysis of the performance of neural networks in the context of transductive inference, specifically by analysing the generalisation properties of graph convolutional networks for the problem of node classification. While VC Dimension does result in trivial generalisation error bounds in this setting as well, we show that transductive Rademacher complexity can explain the generalisation properties of graph convolutional networks for stochastic block models. We further use the generalisation error bounds based on transductive Rademacher complexity to demonstrate the role of graph convolutions and network architectures in achieving smaller generalisation error and provide insights into when the graph structure can help in learning. The findings of this paper could re-new the interest in studying generalisation in neural networks in terms of learning-theoretic measures, albeit in specific problems.

연구 동기 및 목표

• 고전적인 학습 이론적 측정치가 감독 학습 설정을 초월하여 GNN의 일반화를 설명할 수 있는지 조사하기 위해.
• 노드 분류를 위한 전도적 설정에서 그래프 컨volution 네트워크(GCNs)의 일반화 성질을 분석하기 위해.
• 전도적 Rademacher 복잡도를 사용하여 그래프 구조와 네트워크 아키텍처가 일반화 오차를 최소화하는 데 미치는 영향을 평가하기 위해.
• 그래프 정보와 모델 설계를 일반화 성능과 연결하는 이론적 프레임워크를 제공하기 위해.
• 특정이고 잘 정의된 설정에서 GNN 일반화를 이해하기 위해 학습 이론적 접근법에 대한 관심을 재진입시키기 위해.

제안 방법

• 저자들은 전도적 노드 분류 설정에서 GCN의 일반화 측정치로 전도적 Rademacher 복잡도를 사용한다.
• 스토케스틱 블록 모델(SBMs)에서 훈련된 GCN에 대해 전도적 Rademacher 복잡도를 기반으로 일반화 오차 한계를 유도한다.
• 분석 과정에서 그래프 구조(SBM의 파라미터를 통해)와 특징 정보를 모두 일반화 한계에 통합한다.
• 이론적 한계는 그래프 크기, 라벨된 노드 수, 특징과 커뮤니티 구조 간의 일치 정도 등 다양한 조건에서 실증적으로 평가된다.
• 경향을 시각화하기 위해 모델 파라미터 제약 조건(예: β, ω ≈ 0.1)의 경험적 추정치를 사용해 한계를 스케일링한다.
• 실험은 합성 SBM 데이터와 Cora 인용 네트워크를 대상으로 하며, 다양한 하이퍼파라미터를 가진 SGD와 Adam 최적화기를 사용한다.

실험 결과

연구 질문

• RQ1 특정 분포 가정 하에서 고전적인 학습 이론적 측정치인 전도적 Rademacher 복잡도가 GNN의 일반화를 설명할 수 있는가?
• RQ2 그래프 구조와 특징 일치도가 전도적 설정에서 GCN의 일반화 오차에 어떤 영향을 미치는가?
• RQ3 깊이와 잔류 연결과 같은 아키텍처 선택이 이론적 한계에 의해 포착된 일반화 오차에 어느 정도 영향을 미치는가?
• RQ4 라벨된 노드 수와 그래프 크기의 변화가 일반화 오차 한계에 어떤 영향을 미치는가?
• RQ5 전도적 Rademacher 복잡도를 기반으로 한 이론적 한계는 GNN 성능의 경험적 경향을 반영할 수 있는가?

주요 결과

• 전도적 Rademacher 복잡도는 VC 차원이 비어 있는 한계를 제공하는 것과 달리, 전도적 노드 분류 설정에서 GCN에 비어 있지 않은 일반화 오차 한계를 제공한다.
• 특징과 커뮤니티 구조 간의 일치도가 높을수록 일반화 오차 한계가 감소한다.
• 라벨된 노드 수(m)를 늘일수록 일반화 오차 한계가 감소하며, 이는 일반화 성능 향상을 시사한다.
• 더 큰 그래프 크기(n)는 동일한 조건에서 더 낮은 일반화 오차 한계를 초래하며, 이는 더 큰 그래프가 더 잘 일반화될 수 있음을 시사한다.
• 잔류 연결과 더 깊은 아키텍처(K=4)는 더 탴튼 이론적 한계를 반영하며, 일반화 성능 향상과 관련이 있다.
• 이론적 한계는 절대값에서는 실험 결과와 일치하지 않지만(슬랙 항목이 1을 초과함), 파rameter 변화에 따른 일반화 오차의 정성적 경향을 올바르게 반영한다.