[论文解读] Bridging the Gap Between Spectral and Spatial Domains in Graph Neural Networks

Muhammet Balcılar, Guillaume Renton+4 more|arXiv (Cornell University)|Mar 26, 2020

Advanced Graph Neural Networks参考文献 27被引用 38

一句话总结

该论文证明了谱图卷积与空间图卷积在固定谱特征下的等价性，从谱角度分析四种流行的ConvGNN，并引入带可转移滤波系数的深度分离谱设计。

ABSTRACT

This paper aims at revisiting Graph Convolutional Neural Networks by bridging the gap between spectral and spatial design of graph convolutions. We theoretically demonstrate some equivalence of the graph convolution process regardless it is designed in the spatial or the spectral domain. The obtained general framework allows to lead a spectral analysis of the most popular ConvGNNs, explaining their performance and showing their limits. Moreover, the proposed framework is used to design new convolutions in spectral domain with a custom frequency profile while applying them in the spatial domain. We also propose a generalization of the depthwise separable convolution framework for graph convolutional networks, what allows to decrease the total number of trainable parameters by keeping the capacity of the model. To the best of our knowledge, such a framework has never been used in the GNNs literature. Our proposals are evaluated on both transductive and inductive graph learning problems. Obtained results show the relevance of the proposed method and provide one of the first experimental evidence of transferability of spectral filter coefficients from one graph to another. Our source codes are publicly available at: https://github.com/balcilar/Spectral-Designed-Graph-Convolutions

研究动机与目标

• 桥接图卷积的谱域设计与空间设计之间的差距。
• 提供对流行的 ConvGNN 的谱分析，以解释性能与局限性。
• 设计在谱域具有自定义频率特征配置并在空间域实现的新的谱域卷积。
• 推广到深度可分离卷积框架，以在保持容量的同时减少参数。
• 在归纳设置中证明谱滤波系数在不同图之间的可转移性。

提出的方法

• 理论证明具有固定频率配置矩阵 B 的谱域 ConvGNN 是具有核 C^(s) 的空间域 ConvGNN 的一个特例。
• 推导表明 H^(l+1) 可以表示为 C^(s) H^(l) W^(l,s) 的和，其中 C^(s) = U diag(digamma_s(lambda)) U^T。
• 通过频率特征的推论对 ChebNet、CayleyNet、GCN、GAT 进行谱分析，以揭示它们的谱特性。
• 提出使用多谱频率特征的深度可分离图卷积，形成更丰富、参数高效的基础。
• 讨论谱滤波系数在不同图之间的可转移性，包括归纳学习场景。

实验结果

研究问题

• RQ1 是否可以将谱域参数化重新表述为等价的空间域图卷积？
• RQ2 在代表性图上，四种流行的 ConvGNN（ChebNet、CayleyNet、GCN、GAT）的谱频率配置是什么？
• RQ3 我们是否可以设计带有自定义频率配置的谱域卷积，并在空间域实现？
• RQ4 深度可分离谱卷积框架是否能在不牺牲模型容量的前提下降低参数？
• RQ5 在归纳学习设置中，谱滤波系数是否可在不同图之间转移？

主要发现

• 具有固定频率配置设计的谱域 ConvGNN 与空间 ConvGNN 等价，可以在不进行傅里叶变换的情况下进行谱分析。
• ChebNet、CayleyNet、GCN 和 GAT 表现出特征的频率配置，表明它们在很大程度上是低通且与问题相关的，而非普遍无关。
• GCN 展示了跨不同图的可转移卷积核，具有一致的低通形状和可计算的截止频率。
• 带有多镜像谱配置的深度可分离图卷积可以在保持模型容量的同时减少可训练参数。
• 在转导和归纳任务上的实证结果为谱滤波系数在图之间的转移性提供证据。