[논문 리뷰] Generalization Analysis of Message Passing Neural Networks on Large Random Graphs

Sohir Maskey, Ron Levie외 2명|arXiv (Cornell University)|2022. 02. 01.

Machine Learning and ELM인용 수 4

한 줄 요약

이 논문은 메시지 전파 신경망(MPNNs)의 일반화 경계를 큰 무작위 그래프에 대해 제시한다. 그래프는 확률적 블록 모델(그래프온)으로부터 샘플링된 것으로 모델링하며, 일반화 오차는 그래프 크기가 증가함에 따라 감소함을 보여준다. 이는 MPNN과 그 기하학적 그래프온 대응체 간의 균일 수렴 덕분이며, 평균 그래프 크기와 함께 감소하는 일반화 경계를 도출함으로써 이전 방법보다 더 날카로운 이론적 보장을 제공한다.

ABSTRACT

Message passing neural networks (MPNN) have seen a steep rise in popularity since their introduction as generalizations of convolutional neural networks to graph-structured data, and are now considered state-of-the-art tools for solving a large variety of graph-focused problems. We study the generalization error of MPNNs in graph classification and regression. We assume that graphs of different classes are sampled from different random graph models. We show that, when training a MPNN on a dataset sampled from such a distribution, the generalization gap increases in the complexity of the MPNN, and decreases, not only with respect to the number of training samples, but also with the average number of nodes in the graphs. This shows how a MPNN with high complexity can generalize from a small dataset of graphs, as long as the graphs are large. The generalization bound is derived from a uniform convergence result, that shows that any MPNN, applied on a graph, approximates the MPNN applied on the geometric model that the graph discretizes.

연구 동기 및 목표

• MPNN의 그래프 분류 및 회귀 작업에서의 일반화 행동을 이해하기 위해.
• 임의의 분포가 아닌 무작위 그래프 모델(예: 그래프온)으로부터 샘플링된 그래프를 모델링하여 더 날카로운 일반화 경계를 도출하기 위해.
• 학습 샘플 수가 많지 않더라도 일반화 오차가 더 큰 평균 그래프 크기에서 감소함을 보여주기 위해.
• MPNN과 그 기하학적 그래프온 모델 간의 균일 수렴 결과를 확립하기 위해.
• 증가하는 평균 그래프 크기와 함께 감소하는 일반화 경계를 유도함으로써, 기존의 그래프 복잡도 증가에 따라 증가하는 경계를 개선하기 위해.

제안 방법

• 그래프를 확률적 블록 모델(그래프온)으로부터 무작위로 샘플링된 것으로 간주하며, 노드 집합을 연속적인 기하학적 구조에서 독립적으로 동일하게 분포된 것으로 간주한다.
• 균일 수렴 이론을 적용하여, 유한한 그래프에 적용된 임의의 MPNN이 기하학적 그래프온 모델에 적용된 MPNN을 근사함을 보여준다.
• Dudley의 부등식과 서브가우시안 농도를 사용하여 MPNN 클래스에 대해 경험적 손실과 기대 손실 간의 차이의 Supremum을 경계한다.
• 일반화 경계를 $ GE^2 \leq \frac{C}{m} q(N) $ 형태로 도출하며, 여기서 $ q(N) $ 는 평균 그래프 크기 $ N $ 과 함께 감소한다. 이는 이전의 경계와 달리 $ N $ 과 함께 증가하지 않는다.
• MPNN에서 평균 집계를 사용하고, 그래프온 및 네트워크 함수의 리프시츠 연속성을 가정하여 랜덤 과정에서의 서브가우시안 증분을 보장한다.
• 일반화 오차를 그래프 크기와 그래프온의 리프시츠 노름에 대해 플로팅하여 경계를 실증적으로 검증하였으며, $ N $ 이 증가함에 따라 감소하는 경향을 보였다.

실험 결과

연구 질문

• RQ1 학습 세트의 그래프 크기와 함께 MPNN의 일반화 오차는 어떻게 변화하는가?
• RQ2 임의의 데이터 분포가 아닌 그래프의 생성 모델을 가정함으로써 더 날카로운 일반화 경계를 도출할 수 있는가?
• RQ3 작은 수의 학습 샘플이 있을 때조차도 그래프 크기를 증가시키면 일반화 오차가 감소하는가?
• RQ4 MPNN 아키텍처의 복잡도와 그래프 크기가 일반화 성능에 어떻게 영향을 주는가?
• RQ5 유한한 그래프와 그 기하학적 모델(그래프온) 간의 균일 수렴을 확립하여 더 날카로운 경계를 도출할 수 있는가?

주요 결과

• 학습 샘플 수가 적더라도 MPNN의 일반화 오차는 평균 그래프 크기가 증가함에 따라 감소한다.
• 유도된 일반화 경계는 평균 노드 수 $ N $ 과 함께 감소하지만, 이는 이전의 경계와 달리 $ N $ 이나 평균 차수와 함께 증가하지 않는다.
• 경계는 MPNN가 유한한 그래프에 적용된 경우와 그에 대응하는 그래프온 모델에 적용된 경우 간의 균일 수렴을 통해 도출되었으며, Dudley의 부등식과 서브가우시안 농도를 활용하였다.
• 실증 결과는 일반화 경계가 그래프 크기가 증가함에 따라 감소하는 것으로 확인되었으며, 그림 4와 5에서 명확한 반비례 관계가 관찰되었다.
• 그림 6에서 그래프온의 리프시츠 노름이 낮을수록 경계가 감소하는 것으로 나타나, 더 매끄러운 그래프온 구조는 더 나은 일반화를 이끌어낸다.
• 분석은 기하학적 규칙성을 지닌 기하학적 그래프온 모델 덕분에, 큰 그래프에서 작은 데이터셋으로부터도 MPNN이 잘 일반화될 수 있음을 이론적으로 설명한다.