[논문 리뷰] Stability and Generalization of Graph Convolutional Neural Networks

Saurabh Verma, Zhi-Li Zhang|arXiv (Cornell University)|2019. 05. 03.

Advanced Graph Neural Networks참고 문헌 53인용 수 12

한 줄 요약

이 논문은 그래프 컬러션 신경망(GCNNs)에서 알고리즘적 안정성과 일반화 사이의 이론적 연결을 처음으로 수립하며, 강력한 일반화 보장을 위한 핵심 요소인 균일 안정성이 그래프 컬러션 필터의 절대값이 가장 큰 고유값에 의존한다는 것을 보여준다. 이는 정규화된 필터(예: 대칭 정규화된 라플라시안)가 안정성과 일반화를 보장하지만, 비정규화된 필터(예: 비정규화된 인접행렬 또는 라플라시안)는 그래프 크기가 증가함에 따라 고유값이 증가하여 실패함을 증명한다.

ABSTRACT

Inspired by convolutional neural networks on 1D and 2D data, graph convolutional neural networks (GCNNs) have been developed for various learning tasks on graph data, and have shown superior performance on real-world datasets. Despite their success, there is a dearth of theoretical explorations of GCNN models such as their generalization properties. In this paper, we take a first step towards developing a deeper theoretical understanding of GCNN models by analyzing the stability of single-layer GCNN models and deriving their generalization guarantees in a semi-supervised graph learning setting. In particular, we show that the algorithmic stability of a GCNN model depends upon the largest absolute eigenvalue of its graph convolution filter. Moreover, to ensure the uniform stability needed to provide strong generalization guarantees, the largest absolute eigenvalue must be independent of the graph size. Our results shed new insights on the design of new & improved graph convolution filters with guaranteed algorithmic stability. We evaluate the generalization gap and stability on various real-world graph datasets and show that the empirical results indeed support our theoretical findings. To the best of our knowledge, we are the first to study stability bounds on graph learning in a semi-supervised setting and derive generalization bounds for GCNN models.

연구 동기 및 목표

• GCNN에서 일반화와 안정성에 대한 이론적 이해가 부족한 점, 특히 준지도 학습 설정에서의 문제를 해결하기 위해.
• GCNN 모델에서 일반화 보장을 위한 기초로 알고리즘적 안정성을 확립하기 위해.
• 안정성을 결정짓는 핵심 스펙트럼적 성질인 그래프 필터의 절대값이 가장 큰 고유값을 특정하기 위해.
• GCNN에서 정규화 기법(예: 배치 정규화)의 사용에 대한 이론적 근거를 제공하기 위해.
• 실세계 그래프 데이터셋에서 이론적 발견을 경험적으로 검증하기 위해.

제안 방법

• 알고리즘적 안정성 이론을 사용하여 준지도 학습 설정에서 단일층 GCNN을 분석한다.
• 그래프 컬러션 필터의 절대값이 가장 큰 고유값(또는 특이값)에 기반한 안정성 경계를 유도한다.
• 균일 안정성 기준을 적용하여 필터의 스펙트럼적 성질과 일반화 성능 사이의 관계를 맺는다.
• 안정한 필터의 표준 예시로 대칭 정규화된 그래프 라플라시안과 무작위 보행 기반 필터를 사용한다.
• 고정된 학습률과 배치 크기 1을 사용하여 stochastic gradient descent(SGD)로 모델을 훈련한다.
• 일반화 갭을 훈련 오차와 테스트 오차의 절대값 차이로 측정하고, 한 데이터 포인트를 변형했을 때의 가중치 차이의 L2 노름을 통해 가중치 매개변수의 불안정성을 측정한다.

실험 결과

연구 질문

• RQ1 그래프 컬러션 필터의 스펙트럼적 성질이 GCNN의 알고리즘적 안정성에 어떻게 영향을 미치는가?
• RQ2 GCNN 모델이 어떤 조건에서 균일 안정성을 달성하여 강력한 일반화 보장을 얻을 수 있는가?
• RQ3 왜 정규화된 그래프 필터(예: 대칭 정규화된 라플라시안)가 안정성과 일반화 측면에서 비정규화된 것보다 뛰어난가?
• RQ4 고유값 분석에서 도출된 이론적 안정성 경계가 실세계 그래프 데이터셋에서 경험적으로 검증될 수 있는가?
• RQ5 정규화(예: 배치 정규화)는 GCNN에서 안정성과 일반화를 확보하는 데 어떤 역할을 하는가?

주요 결과

• 단일층 GCNN의 균일 안정성은 그 그래프 컬러션 필터의 절대값이 가장 큰 고유값에 의해 결정된다.
• GCNN 모델은 절대값이 가장 큰 고유값이 그래프 크기와 무관할 경우에만 균일 안정성과 강력한 일반화 보장을 달성한다.
• 대칭 정규화된 라플라시안과 무작위 보행 기반 필터와 같은 정규화된 그래프 필터는 그들의 가장 큰 고유값이 그래프 크기와 무관하게 유한하므로 안정성 조건을 만족한다.
• 비정규화된 필터인 비정규화된 인접행렬 또는 라플라시안은 그래프 크기가 증가함에 따라 고유값이 증가하여 불안정성과 열악한 일반화를 초래한다.
• Citeseer, Cora, PubMed 데이터셋에서의 경험적 결과는 비정규화된 필터가 정규화된 필터보다 일반화 갭이 크게 나타나고 가중치 매개변수의 불안정성도 더 크다는 것을 확인한다.
• 비록 이론적 경계가 낙관적이지 않지만, 정규화된 필터에서는 가중치 매개변수 차이가 고정된 값으로 수렴하는 것으로 관측되어 경계는 과민하지만 여전히 타당하다.