[논문 리뷰] Understanding the Message Passing in Graph Neural Networks via Power Iteration.

Xue Li, Yuanzhi Cheng|arXiv (Cornell University)|2020. 05. 30.

Advanced Graph Neural Networks인용 수 3

한 줄 요약

이 논문은 그래프 신경망(GNNs)의 메시지 전파가 힘의 반복(iteration)을 통해 본질적으로 이해될 수 있음을 밝혀내며, 활성화 함수와 학습 가능한 가중치를 제거한 새로운 해석 가능한 모델인 SPIC(Simplified Power Iteration Clustering)을 제안한다. 이 방법은 무작위 특징 네트워크에서 성능을 향상시키며, 많은 최신 GNN 모델들이 설계 측면에서 불필요하다는 것을 보여주며, 무작위 집계기 초기화를 통해 GNN 평가의 하한선을 설정한다.

ABSTRACT

The mechanism of message passing in graph neural networks(GNNs) is still mysterious for the literature. No one, to our knowledge, has given another possible theoretical origin for GNNs apart from convolutional neural networks. Somewhat to our surprise, the message passing can be best understood in terms of the power iteration. By removing activation functions and layer weights of GNNs, we propose power iteration clustering (SPIC) models which are naturally interpretable and scalable. The experiment shows our models extend the existing GNNs and enhance its capability of processing random featured networks. Moreover, we demonstrate the redundancy of some state-of-the-art GNNs in designing and define a lower limit for model evaluation by randomly initializing the aggregator of message passing. All the findings in this paper push the boundaries of our understanding of neural networks.

연구 동기 및 목표

• GNN 메시지 전파의 새로운 이론적 기반을 컨volutional 신경망을 넘어서 밝혀내는 것.
• 기존 GNN 아키텍처에서의 해석 가능성과 확장성 부족 문제를 해결하는 것.
• 최신 GNN의 설계가 성능에 있어 불필요한지 또는 필수적인지 조사하는 것.
• 무작위로 초기화된 집계기로 GNN 평가의 하한선을 설정하는 것.
• 간소화되고 해석 가능한 모델을 통해 GNN의 무작위 특징 네트워크에서의 능력을 향상시키는 것.

제안 방법

• 메시지 전파를 고려하기 위해 활성화 함수와 학습 가능한 가중치를 제거한 GNN 변종인 SPIC(Simplified Power Iteration Clustering)을 제안한다.
• 메시지 전파를 그래프 인접행렬에 대한 힘의 반복으로 모델링하여, GNN을 스펙트럴 클러스터링과 반복적인 행렬-벡터 곱셈과 연결한다.
• 그래프 라플라시안 또는 인접행렬을 기반으로 한 선형 변환을 사용해 특징을 반복적으로 전파한다.
• 힘의 반복을 통해 반복적으로 노드 표현을 개선하며, 그래프 구조가 정보 전파에 미치는 영향을 강조한다.
• 메시지 전파의 집계기를 무작위로 초기화하여 GNN 성능을 평가함으로써 모델 평가의 기준선을 설정한다.
• SPIC를 표준 GNN과 비교하여 무작위 특징 네트워크에서 복잡한 GNN 구성 요소의 불필요함을 분석한다.

실험 결과

연구 질문

• RQ1 GNN의 메시지 전파 메커니즘이 힘의 반복을 통해 이론적으로 설명될 수 있는가?
• RQ2 GNN에서 효과적인 노드 표현 학습을 위해 필요한 최소한의 아키텍처는 무엇인가?
• RQ3 현대 GNN의 설계가 학습 가능한 가중치와 활성화 함수 측면에서 얼마나 불필요한가?
• RQ4 무작위 집계기 초기화가 GNN 평가에 의미 있는 하한선이 될 수 있는가?
• RQ5 SPIC 모델은 표준 GNN과 비교해 무작위 특징 네트워크에서 어떻게 성능을 내는가?

주요 결과

• GNN의 메시지 전파가 본질적으로 그래프 인접행렬에 대한 힘의 반복과 동일하므로, 새로운 이론적 시각을 제공한다.
• 활성화 함수와 가중치를 제거한 SPIC 모델이 무작위 특징 네트워크에서 경쟁적인 성능을 달성하여, 힘의 반복 메커니즘이 충분함을 보여준다.
• 메시지 전파의 집계기를 무작위로 초기화하면 GNN 평가의 하한선이 되며, 많은 최신 GNN 모델의 불필요함을 드러낸다.
• SPIC 모델은 간소화된 구조 덕분에 해석 가능하고 확장성이 있어 이론적 분석에 적합하다.
• 연구 결과에 따르면 비선형성과 학습 가능한 가중치와 같은 복잡한 GNN 구성 요소가 특정 무작위 특징 설정에서는 필수적이지 않다는 것이 밝혀졌다.
• 이러한 발견은 많은 GNN 모델이 과도하게 파rameter화되어 있으며, 성능 향상 요인이 모델 복잡성보다는 구조적 전파에 기인할 수 있음을 시사한다.