[논문 리뷰] Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case

Shuai Zhang, Meng Wang외 3명|arXiv (Cornell University)|2020. 06. 25.

Neural Networks and Applications인용 수 7

한 줄 요약

이 논문은 일중층 그래프 신경망(GNN)을 훈련하기 위한 텐서 초기화 및 가속화된 경사하강법 알고리즘을 제안하며, 회귀 문제에서는 일반화 오차가 0인 정확한 수렴을 보장하고, 이진 분류 문제에서는 근사적으로 0에 가까운 오차를 달성한다. 이 방법은 기존 경사하강법보다 더 빠른 선형 수렴 속도를 보장하며, 샘플 복잡도는 모델 크기와 그래프 성질에 선형적으로 의존한다.

ABSTRACT

Although graph neural networks (GNNs) have made great progress recently on learning from graph-structured data in practice, their theoretical guarantee on generalizability remains elusive in the literature. In this paper, we provide a theoretically-grounded generalizability analysis of GNNs with one hidden layer for both regression and binary classification problems. Under the assumption that there exists a ground-truth GNN model (with zero generalization error), the objective of GNN learning is to estimate the ground-truth GNN parameters from the training data. To achieve this objective, we propose a learning algorithm that is built on tensor initialization and accelerated gradient descent. We then show that the proposed learning algorithm converges to the ground-truth GNN model for the regression problem, and to a model sufficiently close to the ground-truth for the binary classification problem. Moreover, for both cases, the convergence rate of the proposed learning algorithm is proven to be linear and faster than the vanilla gradient descent algorithm. We further explore the relationship between the sample complexity of GNNs and their underlying graph properties. Lastly, we provide numerical experiments to demonstrate the validity of our analysis and the effectiveness of the proposed learning algorithm for GNNs.

연구 동기 및 목표

• 특히 일중층 아키텍처에 대해 이론적으로 일반화 가능성을 보장하지 못하는 그래프 신경망(GNN)의 문제를 해결한다.
• 해당 모델이 존재할 경우, 기존의 일반화 오차가 0인 진정한 GNN 모델로의 수렴을 보장하는 학습 알고리즘을 개발한다.
• 가속화된 경사하강법과 텐서 초기화를 활용해 기존 경사하강법보다 더 빠른 수렴 속도를 달성한다.
• 기본 그래프 성질과 모델 크기와 관련된 GNN 학습의 샘플 복잡도를 분석한다.
• 이론적 분석을 회귀에서 이진 분류로 확장하여, 충분한 샘플이 존재할 경우 진정한 모델에 임의로 가까운 수렴을 보여준다.

제안 방법

• 저랭크 구조와 직교 기저 추정을 활용해 훈련 샘플에서 진정한 GNN 가중치 행렬을 추정하기 위해 텐서 초기화를 사용한다.
• GNN 파라미터 최적화를 위해 가속화된 경사하강법(AGD)을 적용하여 선형 수렴 속도를 보장한다.
• 학습 문제를 제3차 모멘트 텐서가 GNN의 기능적 의존성을 캡처하는 저랭크 텐서 근사 문제로 재구성한다.
• 샘플 데이터에서 모멘트 텐서를 추정하고, 비볼록 최적화 문제의 볼록 리 릴랙세이션을 풀어 진짜 파라미터를 복구한다.
• 스펙트럼 및 최적화 기법을 사용해 반복적으로 추정된 부분공간과 가중치를 개선하는 서브루틴을 도입한다.
• 학습 샘플 수, 그래프의 스펙트럼 성질, 초기화 정확도에 대한 조건 하에서 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 일중층 GNN에 대한 학습 알고리즘이 잘 정의된 데이터 생성 모델 하에서 충분한 훈련 샘플이 존재할 경우, 일반화 오차가 0인 진정한 모델로 수렴할 수 있는가?
• RQ2 제안된 알고리즘의 수렴 속도는 기존 경사하강법 대비 어떻게 다른가? 가속화가 가능한가?
• RQ3 GNN 학습의 샘플 복잡도는 모델 크기와 그래프 구조에 따라 어떻게 변화하는가?
• RQ4 이론적 프레임워크는 회귀에서 이진 분류로 확장 가능하며, 유한한 일반화 오차를 보장할 수 있는가?
• RQ5 스펙트럼 갭과 노드 차수 분포와 같은 그래프 성질은 GNN 학습의 샘플 복잡도에 어떤 역할을 하는가?

주요 결과

• 충분한 훈련 샘플이 존재할 경우, 제안된 알고리즘은 회귀 문제에서 일반화 오차가 0인 진정한 GNN 모델로 수렴한다.
• 이진 분류 문제에서는 샘플 수가 증가할수록 진정한 모델과의 거리가 0으로 수렴하는 모델로 수렴한다.
• 수렴 속도는 선형이며, 가속화된 경사하강법 덕분에 기존 경사하강법보다 더 빠르다.
• 샘플 복잡도는 모델 크기(필터 수)에 선형적으로 의존하며, 이는 이전 연구에서 고차 다항식 의존성과 비교해 최적이다.
• 알고리즘의 성공은 그래프의 스펙트럼 성질에 따라 달라지며, 샘플 복잡도는 $ O( ho^3 K d ho ext{log} N) $로 스케일링되며, 여기서 $ ho $는 조건수이고 $ K $는 필터 수이다.
• 텐서 초기화를 통해 GNN 가중치 행렬의 저랭크 구조를 정확히 복구할 수 있으며, 이는 열악한 국소 최적해를 피하는 데 핵심적이다.