[논문 리뷰] Generalization bounds for graph convolutional neural networks via Rademacher complexity

Shaogao Lv|arXiv (Cornell University)|2021. 02. 20.

Advanced Graph Neural Networks참고 문헌 28인용 수 4

한 줄 요약

이 논문은 라데마처 복잡도를 사용하여 한 은닉층을 가진 그래프 컬러션 네트워크(GCNs)에 대해 날카운 일반화 경계를 수립한다. 이 경계는 그래프 컬러션 필터의 최대 고유값과 그래프의 차수 분포에 대해 명시적으로 의존함을 보여주며, 상한과 하한이 모두 존재함을 증명함으로써 유도된 복잡도 추정치의 최적성을 입증하고 GCN에서 필터 및 그래프 구조 설계에 대한 이론적 근거를 제공한다.

ABSTRACT

This paper aims at studying the sample complexity of graph convolutional networks (GCNs), by providing tight upper bounds of Rademacher complexity for GCN models with a single hidden layer. Under regularity conditions, theses derived complexity bounds explicitly depend on the largest eigenvalue of graph convolution filter and the degree distribution of the graph. Again, we provide a lower bound of Rademacher complexity for GCNs to show optimality of our derived upper bounds. Taking two commonly used examples as representatives, we discuss the implications of our results in designing graph convolution filters an graph distribution.

연구 동기 및 목표

• 라데마처 복잡도를 사용하여 한 은닉층을 가진 GCNs에 대해 날카운 일반화 경계를 제공하기 위해.
• 특히 그래프 필터의 최대 고유값과 차수 분포를 포함한 그래프 구조가 일반화 성능에 미치는 영향을 분석하기 위해.
• 유도된 경계의 최적성을 입증하기 위해 라데마처 복잡도에 대한 상한과 하한을 모두 수립하기 위해.
• 일반화에 미치는 영향을 정량화함으로써 그래프 컬러션 필터와 그래프 분포의 설계를 안내하기 위해.
• 표준 딥러닝 환경을 초월하여 그래프 특유의 구조적 종속성을 고려한 GCN 일반화 이론적 이해를 확장하기 위해.

제안 방법

• 스펙트럼 그래프 이론을 활용하여 파rameter 노름 제약 조건 하에서 GCNs의 경험적 라데마처 복잡도에 대한 상한을 유도한다.
• 그래프 라플라시안과 그래프 컬러션 필터의 스펙트럼 특성을 활용하여 가설 클래스의 복잡도를 특성화한다.
• 대칭화 및 수축 추론을 적용하여 기댓값 라데마처 복잡도를 필터의 최대 고유값과 차수 분포를 통해 근사한다.
• 입력 특징을 철저히 선택하고 필터 행렬의 구조를 활용하여 라데마처 복잡도에 대한 하한을 구성한다.
• 상한과 하한이 주어진 순서의 크기에서 일치함을 증명함으로써 유도된 복잡도 경계의 최적성을 입증한다.
• 일반 결과의 함의를 설명하기 위해 일반화되지 않은(A+I) 및 정규화된(D⁻¹A+I) 두 가지 일반적인 그래프 컬러션 필터를 분석한다.

실험 결과

연구 질문

• RQ1 그래프 컬러션 필터의 최대 고유값은 GCNs의 일반화 성능에 어떻게 영향을 미치는가?
• RQ2 그래프의 차수 분포는 GCNs의 라데마처 복잡도와 일반화 경계에 어떤 방식으로 영향을 미치는가?
• RQ3 한 은닉층을 가진 GCNs에 대해 날카운 상한과 하한을 유도하여 경계의 최적성을 입증할 수 있는가?
• RQ4 일반화 갭에 있어 일반화되지 않은 필터와 정규화된 필터 간의 차이점은 무엇인가?
• RQ5 정규성 또는 무작위 그래프 모델(Erdős–Rényi 등)과 같은 그래프 구조적 특성이 일반화 경계에 어느 정도 영향을 미치는가?

주요 결과

• GCNs의 일반화 경계는 O(λ_max(g(L)) q^{3/2} m^{-1/2})로 스케일되며, 여기서 λ_max는 그래프 필터의 최대 고유값이고 q는 최대 차수이다.
• 간선 확률이 Ω(log n / n)인 Erdős–Rényi 그래프에서는 일반화되지 않은 필터(A+I) 하에서 경계가 O(log^{5/2}(n) m^{-1/2})이다.
• 유한한 차수를 가진 정규 그래프(q=O(1))의 경우 경계는 O(m^{-1/2})로 축소되며, 그래프 크기 n과 무관하게 표준 유클리드 딥러닝 모델과 일치한다.
• 정규화된 필터(D⁻¹A+I)를 사용할 경우 Erdős–Rényi 그래프에서 경계는 O(log^{3/2}(n) m^{-1/2})로 향상되며, 일반화되지 않은 경우 대비 log(n)의 개선 효과를 보인다.
• 라데마처 복잡도의 하한이 상한과 순서의 크기에서 일치함을 증명하여, 유도된 상한 경계가 최적임을 입증한다.
• 결과는 그래프 필터의 스펙트럼 특성과 차수 분포가 GCNs에서 일반화 오차를 통제하는 데 핵심적인 요소임을 보여준다.