[논문 리뷰] On Asymptotic Behaviors of Graph CNNs from Dynamical Systems Perspective

Kenta Oono, Taiji Suzuki|arXiv (Cornell University)|2019. 01. 01.

Advanced Graph Neural Networks참고 문헌 31인용 수 17

한 줄 요약

이 논문은 그래프 컬러리션 네트워크(GCNs)의 渐近적 행동을 동적 시스템으로 모델링하여 전방 전파 과정을 분석함으로써, GCNs가 연결된 컴포넌트와 노드의 차수에만 의존하는 극한으로 지수적으로 수렴하는 것으로 밝혀냈다. 주요 기여는 GCN 표현력과 그래프 스펙트럼 간의 이론적 프레임워크를 수립한 것으로, 이는 실제 데이터에서 성능 향상에 기여하는 체계적인 가중치 정규화 전략을 이끌어냈다.

ABSTRACT

Graph Neural Networks (graph NNs) are a promising deep learning approach for analyzing graph-structured data. However, it is known that they do not improve (or sometimes worsen) their predictive performance as we pile up many layers and add non-lineality. To tackle this problem, we investigate the expressive power of graph NNs via their asymptotic behaviors as the layer size tends to infinity. Our strategy is to generalize the forward propagation of a Graph Convolutional Network (GCN), which is a popular graph NN variant, as a specific dynamical system. In the case of a GCN, we show that when its weights satisfy the conditions determined by the spectra of the (augmented) normalized Laplacian, its output exponentially approaches the set of signals that carry of the connected components and node degrees only for distinguishing nodes. Our theory enables us to relate the expressive power of GCNs with the topological of the underlying graphs inherent in the graph spectra. To demonstrate this, we characterize the asymptotic behavior of GCNs on the Erdős -- Renyi graph. We show that when the Erdős -- Renyi graph is sufficiently dense and large, a broad range of GCNs on it suffers from the information loss in the limit of infinite layers with high probability. Based on the theory, we provide a principled guideline for weight normalization of graph NNs. We experimentally confirm that the proposed weight scaling enhances the predictive performance of GCNs in real data. Code is available at this https URL.

연구 동기 및 목표

• 깊이가 증가할수록 GCN의 성능 향상이 이루어지지 않거나 오히려 악화되는 이유를 이해하고자 한다.
• 층 수가 무한에 가까워질 때 GCN의 渐近적 행동을 분석하고자 한다.
• GCN 표현력과 기초가 되는 그래프의 스펙트럼적 성질 간의 이론적 연결 고리를 수립하고자 한다.
• GCN이 무한층 수준에서 정보 손실을 겪는 조건을 규명하고자 한다.
• 스펙트럼 그래프 이론에 기반한 체계적인 가중치 정규화 전략을 유도하여 GCN 성능을 향상시키고자 한다.

제안 방법

• 그래프의 정규화 라플라시안에서 유도된 선형 상미분방정식(ODE)에 의해 지배되는 연속 시간 동적 시스템으로 GCN의 전방 전파를 모델링한다.
• 확장된 정규화 라플라시안의 고유값과 연결된 특정 가중치 제약 조건 하에서 동적 시스템의 안정성과 수렴성을 분석한다.
• 층 수가 무한에 가까워질 때 GCN 출력의 극한을 특성화하여, 연결된 컴포넌트와 노드의 차수에만 의존하는 신호로 수렴하는 것을 보여준다.
• 다양한 밀도와 크기를 가진 에르되시-레니 무작위 그래프에서 이론적 분석을 적용하여 무한층 수준에서의 행동을 연구한다.
• 정규화 라플라시안의 스펙트럼 반경에 기반한 가중치 정규화 규칙을 유도하여 조기 수렴과 정보 손실을 방지한다.
• 실제 그래프 데이터셋에서의 실험을 통해 제안된 정규화 전략의 유효성을 검증하여 예측 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 층 수가 무한에 가까워질수록 GCN의 출력은 어떻게 행동하는가? 그리고 그 극한 행동은 무엇에 의해 결정되는가?
• RQ2 무한층 수준에서 GCN이 노드 식별 정보를 상실하는 스펙트럼 조건은 무엇인가?
• RQ3 에르되시-레니 무작위 그래프에서 그래프가 크고 조밀해질수록 GCN은 어느 정도 정보 손실을 겪는가?
• RQ4 GCN의 渐近적 행동을 활용하여 더 나은 가중치 초기화 또는 정규화 기법을 설계할 수 있는가?
• RQ5 제안된 스펙트럼 기반 가중치 정규화 전략은 실세계 그래프 데이터셋에서 GCN 성능을 향상시키는가?

주요 결과

• 특정 가중치 조건이 그래프의 스펙트럼과 연결되어 있을 경우, GCN 출력은 연결된 컴포넌트와 노드의 차수에만 의존하는 극한으로 지수적으로 수렴한다.
• 충분히 밀도가 높고 크기가 큰 에르되시-레니 그래프에서는, 광범위한 GCN 구조가 높은 확률로 무한층 수준에서 정보 손실을 겪는다.
• 이론적 분석을 통해 GCN 표현력은 정규화 라플라시안 행렬의 스펙트럼적 성질에 의해 본질적으로 제약을 받는다는 것이 드러났다.
• 스펙트럼 제약 조건에서 유도된 제안된 가중치 정규화 전략은 실세계 데이터셋에서 GCN 성능을 향상시킨다.
• 실증 결과는 정규화된 GCN이 표준 GCN보다 더 나은 예측 성능을 달성함을 확인하여 이론적 통찰을 검증한다.
• 노드 신호의 저차원 부분공간으로의 수렴은 깊은 GCN이 노드를 구분하는 능력을 제한하며, 특히 높은 연결성을 가진 그래프에서는 더욱 두드러진다.