[논문 리뷰] Bridging the Gap Between Spectral and Spatial Domains in Graph Neural Networks

Muhammet Balcılar, Guillaume Renton외 4명|arXiv (Cornell University)|2020. 03. 26.

Advanced Graph Neural Networks참고 문헌 27인용 수 38

한 줄 요약

본 논문은 고정된 스펙트럼 프로필을 가진 스펙트럼 그래프 컨볼루션과 공간 그래프 컨볼루션의 동등성을 증명하고, 스펙트럼 관점에서 네 가지 인기 있는 ConvGNN을 분석하며, 전달 가능한 필터 계수를 갖는 깊이별 분리 스펙트럴 설계를 도입한다.

ABSTRACT

This paper aims at revisiting Graph Convolutional Neural Networks by bridging the gap between spectral and spatial design of graph convolutions. We theoretically demonstrate some equivalence of the graph convolution process regardless it is designed in the spatial or the spectral domain. The obtained general framework allows to lead a spectral analysis of the most popular ConvGNNs, explaining their performance and showing their limits. Moreover, the proposed framework is used to design new convolutions in spectral domain with a custom frequency profile while applying them in the spatial domain. We also propose a generalization of the depthwise separable convolution framework for graph convolutional networks, what allows to decrease the total number of trainable parameters by keeping the capacity of the model. To the best of our knowledge, such a framework has never been used in the GNNs literature. Our proposals are evaluated on both transductive and inductive graph learning problems. Obtained results show the relevance of the proposed method and provide one of the first experimental evidence of transferability of spectral filter coefficients from one graph to another. Our source codes are publicly available at: https://github.com/balcilar/Spectral-Designed-Graph-Convolutions

연구 동기 및 목표

• 그래프 컨볼루션의 스펙트럴 설계와 공간 설계 사이의 간극을 해소한다.
• 성능과 한계를 설명하기 위해 인기 있는 ConvGNN들에 대한 스펙트럴 분석을 제공한다.
• 공간 도메인에서 적용되는 맞춤형 주파수 프로파일을 갖는 새로운 스펙트럴 도메인 컨볼루션을 설계한다.
• 용량(capacity)을 유지하면서 파라미터를 줄이기 위해 깊이별 분리 컨볼루션 프레임워크로 일반화한다.
• 귀납적 설정에서 그래프 간 스펙트럴 필터 계수의 전달 가능성을 시연한다.

제안 방법

• 고정된 주파수 프로파일 행렬 B를 갖는 스펙트럴 ConvGNN이 커널 C^(s)을 갖는 공간 ConvGNN의 특수한 경우임을 이론적으로 시연한다.
• H^(l+1)가 C^(s) H^(l) W^(l,s)의 합으로 표현될 수 있음을 도출하며, C^(s) = U diag(digamma_s(lambda)) U^T.
• 주파수 프로파일 보조정리에 따라 ChebNet, CayleyNet, GCN, GAT의 스펙트럼 특성을 밝히기 위한 스펙트럼 분석.
• 다양한 스펙트럼 주파수 프로파일을 사용하여 더 풍부하고 파라미터 효율적인 기초를 형성하는 깊이별 분리 그래프 컨볼루션의 제안.
• 다른 그래프 간 스펙트럴 필터 계수의 전달 가능성에 대한 논의, 귀납 학습 시나리오를 포함.

실험 결과

연구 질문

• RQ1 스펙트럴 도메인 매개변수화가 동등한 공간 도메인 그래프 컨볼루션으로 재구성될 수 있는가?
• RQ2 대표 그래프에서 네 가지 인기 있는 ConvGNN(ChebNet, CayleyNet, GCN, GAT)의 스펙트럼 주파수 프로파일은 무엇인가?
• RQ3 맞춤 주파수 프로파일을 갖는 스펙트럴 도메인 컨볼루션을 설계하고 이를 공간 도메인에서 구현할 수 있는가?
• RQ4 깊이별 분리 스펙트럴 컨볼루션 프레임워크가 모델 용량을 희생하지 않으면서 파라미터를 줄일 수 있는가?
• RQ5 귀납 학습 설정에서 그래프 간에 스펙트럴 필터 계수가 전달 가능할까?

주요 결과

• 고정된 주파수 프로파일 설계의 스펙트럴 ConvGNN은 공간 ConvGNN과 동등하여 푸리에 변환 없이도 스펙트럼 분석이 가능하다.
• ChebNet, CayleyNet, GCN, GAT은 특징적인 주파수 프로파일을 보여주며, 이들이 대체로 로우패스이고 문제에 특화되어 있으며 보편적으로 무관하지 않음을 드러낸다.
• GCN은 서로 다른 그래프에서 전달 가능한 커널을 보이며, 일관된 로우패스 형태와 계산 가능한 컷오프 주파수를 가진다.
• 여러 스펙트럼 프로파일을 갖는 깊이별 분리 그래프 컨볼루션은 모델 용량을 유지하면서 학습 가능한 매개변수를 줄일 수 있다.
• 전수성 및 귀납적 작업에 대한 실증 결과는 그래프 간 스펙트럴 필터 계수의 전달 가능성에 대한 근거를 제공한다.