[논문 리뷰] Understanding Non-linearity in Graph Neural Networks from the Bayesian-Inference Perspective

Rongzhe Wei, Haoteng Yin외 3명|arXiv (Cornell University)|2022. 07. 22.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 베이지안 추론의 관점에서 그래프 신경망(GNNs)을 프레임워크화하며, 문맥적 스토케스틱 블록 모델(CSBM) 하에서 노드 분류에 대한 최적의 사후확률 최대화(MAP) 추정기(GNN 유사 아키텍처)가 ReLU 활성화를 갖는 이웃 특징 집계와 비선형 특성 변환을 자연스럽게 유도함을 보여준다. 핵심 발견은 비선형성이 노드 특성이 그래프 구조보다 훨씬 정보가 많을 때에만 성능 향상이 뚜렷한데, 이는 실무에서 GNN이 종종 선형 기반 모델보다 성능 향상이 미미한 이유를 설명한다.

ABSTRACT

Graph neural networks (GNNs) have shown superiority in many prediction tasks over graphs due to their impressive capability of capturing nonlinear relations in graph-structured data. However, for node classification tasks, often, only marginal improvement of GNNs over their linear counterparts has been observed. Previous works provide very few understandings of this phenomenon. In this work, we resort to Bayesian learning to deeply investigate the functions of non-linearity in GNNs for node classification tasks. Given a graph generated from the statistical model CSBM, we observe that the max-a-posterior estimation of a node label given its own and neighbors' attributes consists of two types of non-linearity, a possibly non-linear transformation of node attributes and a ReLU-activated feature aggregation from neighbors. The latter surprisingly matches the type of non-linearity used in many GNN models. By further imposing Gaussian assumption on node attributes, we prove that the superiority of those ReLU activations is only significant when the node attributes are far more informative than the graph structure, which nicely matches many previous empirical observations. A similar argument can be achieved when there is a distribution shift of node attributes between the training and testing datasets. Finally, we verify our theory on both synthetic and real-world networks.

연구 동기 및 목표

• 비선형 GNN이 노드 분류 작업에서 선형 모델에 비해 성능 향상이 미미한 이유를 이해하는 것.
• 비선형 GNN이 선형 전파보다 의미 있는 성능 향상을 제공하는 통계적 조건을 조사하는 것.
• 특성 표현과 모델 일반화와의 관계에서 비선형성의 역할을 베이지안 추론 관점에서 수식화하는 것.
• 노드 특성의 분포 이탈이 모델 이식 가능성에 미치는 영향을 분석하며, 특히 선형 및 비선형 GNN 간 비교를 수행하는 것.
• 이론적 발견을 합성 및 실세계 그래프에서 실험적으로 검증하는 것.

제안 방법

• 저자들은 레이블에 의존하는 가우시안 노드 특성을 갖는 문맥적 스토케스틱 블록 모델(CSBM)을 사용하여 노드 분류를 모델링한다.
• 노드 레이블에 대한 최대사후확률(MAP) 추정기를 유도하며, 이는 ReLU 활성화를 갖는 이웃 집계와 비선형 특성 변환을 갖는 GNN 유사 아키텍처로 자연스럽게 유도된다.
• 노드 특성에 대해 가우시안 가정을 두고, 선형 및 비선형 모델의 오분류 오차를 분석적으로 비교한다.
• 비선형성이 성능 향상에 기여하는 조건을 수식화하며, 특성 정보가 제한적일 경우와 충분할 경우의 두 상황을 구분한다.
• 노드 특성의 평균 벡터를 회전시켜 분포 이탈 상황을 분석하고, 선형 및 비선형 모델 간 오분류 오차 증가율을 비교함으로써 이식 가능성의 차이를 분석한다.
• 모델 하이퍼파rameter를 고정하고 합성 CSBM 기반 그래프와 실세계 데이터셋에서 실험하여 이론적 예측을 검증한다.

실험 결과

연구 질문

• RQ1 비선형 GNN이 노드 분류에서 선형 전파보다 유의미한 성능 향상을 제공하는 조건은 무엇인가?
• RQ2 비선형 GNN이 표현력이 뛰어나지만도 많은 실험 연구에서 비선형 GNN이 선형 기반 모델에 비해 성능 향상이 미미한 이유는 무엇인가?
• RQ3 노드 특성이 그래프 구조에 비해 얼마나 정보가 많을 때 비선형성이 GNN의 성능 향상에 기여하는가?
• RQ4 학습 및 테스트 데이터 간 노드 특성의 분포 이탈이 있을 경우, 비선형성은 모델의 이식 가능성 향상에 기여하는가?
• RQ5 베이지안 추론은 GNN의 메시지 전달 기능 형태에 대해 원칙적인 설명을 제공할 수 있는가?

주요 결과

• 노드 특성이 그래프 구조보다 정보가 적을 경우, 비선형 모델과 선형 모델의 오분류 오차는 渐진적으로 동일해지며, 오차 비율은 1에 수렴한다.
• 노드 특성이 충분히 정보가 많을 경우, 비선형 모델의 오분류 오차는 선형 모델보다 유의미하게 작아지며, 표본 크기가 증가함에 따라 오차 비율은 0에 수렴한다.
• 노드 특성의 분포 이탈이 존재할 경우, 특성이 정보가 많을 때 비선형 모델이 선형 모델보다 더 뛰어난 이식 가능성을 보이며, 오분류 오차 증가율이 더 작다.
• 이론적 분석을 통해 GNN의 ReLU 기반 메시지 전달이 CSBM 하에서 베이지안 MAP 추정에서 자연스럽게 유도됨을 확인하였으며, 이는 이를 사용하는 데에 원칙적인 정당성을 제공한다.
• 합성 및 실세계 그래프에서의 실험 결과는 이론적 예측을 검증하였으며, 비선형 GNN이 선형 모델을 능가하는 것은 특성이 매우 정보가 많을 때에만 성립함을 보여준다.
• 특성 정보가 제한적인 영역에서는 비선형 모델과 선형 모델 간 성능 격차가 미미하며, 이는 실세계 노드 분류 작업에서 일반적인 경험적 관찰과 일치한다.