[논문 리뷰] Graph and graphon neural network stability

Luana Ruiz, Zhiyang Wang외 1명|arXiv (Cornell University)|2020. 10. 23.

Advanced Graph Neural Networks참고 문헌 32인용 수 6

한 줄 요약

이 논문은 그래프온 신호 처리를 활용하여 그래프 신경망(GNNs)을 그래프온 신경망(WNNs)으로 모델링함으로써, 그래프온 변화에 대한 그래프 신경망(GNNs)의 이론적 안정성 한계를 수립한다. 이는 그래프 크기가 증가함에 따라 점점 향상되는 안정성을 보이며, 필터 대역폭에 의해 결정되는 안정성과 구별 능력 사이의 트레이드오���을 수반한다.

ABSTRACT

Graph neural networks (GNNs) are learning architectures that rely on knowledge of the graph structure to generate meaningful representations of large-scale network data. GNN stability is thus important as in real-world scenarios there are typically uncertainties associated with the graph. We analyze GNN stability using kernel objects called graphons. Graphons are both limits of convergent graph sequences and generating models for deterministic and stochastic graphs. Building upon the theory of graphon signal processing, we define graphon neural networks and analyze their stability to graphon perturbations. We then extend this analysis by interpreting the graphon neural network as a generating model for GNNs on deterministic and stochastic graphs instantiated from the original and perturbed graphons. We observe that GNNs are stable to graphon perturbations with a stability bound that decreases asymptotically with the size of the graph. This asymptotic behavior is further demonstrated in an experiment of movie recommendation.

연구 동기 및 목표

• 실제 그래프에서의 구조적 불확실성 하에서 GNN 안정성에 대한 이론적 이해 부족 문제를 해결하기 위해.
• 수렴하는 그래프 수열과 생성 모델의 극한으로서 그래프온을 사용하여 그래프 불확실성을 모델링하기 위해.
• 그래프온 기반의 대응체인 WNNs를 분석함으로써 GNNs에 대한 이론적 안정성 한계를 수립하기 위해.
• 기존의 결정론적 그래프에서의 안정성 분석을 그래프온에서 생성된 스토케스틱 그래프로 확장하기 위해.
• 스펙트럼 필터 제약 조건을 통해 GNN 안정성과 구별 능력 사이의 근본적인 트레이드오투를 드러내기 위해.

제안 방법

• 그래프온 신호 처리 이론을 활용하여 GNNs의 연속 극한으로서 그래프온 신경망(WNNs)을 정의한다.
• 그래프온 커널에서 유도된 그래프온 이동 연산자(GSO)를 사용하여 극한에서의 그래프 컬러션 연산을 모델링한다.
• 스펙트럼 분석과 그래프온의 리프시츠 연속성에 기반하여 WNN의 그래프온 변화에 대한 안정성을 확립한다.
• 이전 연구에서 제안된 GNN-WNN 근사 프레임워크를 적용하여 WNN의 안정성 결과를 이산 GNNs로 이전한다.
• 고유값 변화 이론과 Davis-Kahan 정리를 활용하여 그래프온 변화에 따른 고유벡터 차이를 근사한다.
• 집중 부등식과 그래프온의 차수 정규성에 기반하여 GNN 출력 차이에 대한 확률적 한계를 유도한다.

실험 결과

연구 질문

• RQ1 그래프온 변화는 그래프 신경망의 출력 안정성에 어떻게 영향을 미치는가?
• RQ2 그래프 크기가 증가함에 따라 GNN 안정성의 점점 향상되는 행동은 어떻게 되는가?
• RQ3 그래프 변화에 대해 GNN 안정성과 구별 능력 사이에 트레이드오투가 존재하는가?
• RQ4 그래프온에서 생성된 결정론적 그래프와 스토케스틱 그래프에서 GNN의 안정성은 어떻게 다를까?
• RQ5 WNN에 대한 이론적 안정성 한계를 유한 그래프에서 실용적인 GNNs로 확장할 수 있는가?

주요 결과

• GNNs는 그래프온 변화에 대해 안정적이며, 그래프 크기가 증가함에 따라 안정성 한계가 점점 감소한다.
• 안정성 한계는 $ \mathcal{O}\left(\frac{\sqrt{\log n}}{\sqrt{n}}\right) $ 스케일링을 보이며, 더 큰 그래프에서 변화에 대한 민감도가 점점 감소함을 나타낸다.
• GNN 안정성과 구별 능력 사이에 트레이드오투가 존재하며, 이는 그래프 컬러션 필터의 통과 대역폭에 의해 제약을 받는다.
• 그래프온에서 생성된 결정론적 그래프에서 GNN의 안정성은 WNN 근사 프레임워크 하에서 보장된다.
• 스토케스틱 그래프가 그래프온에서 생성되더라도 동일한 점점 향상되는 스케일링 하에서 높은 확률로 안정성이 유지된다.
• 분석 결과, 최소 고유값 간격 $ \delta_c^{(pq)} $ 와 필터 대역 내 고유값 수 $ n_c^{(q)} $ 가 안정성 한계에 결정적인 영향을 미친다.