[论文解读] Understanding Graph Neural Networks with Asymmetric Geometric Scattering Transforms

Michael Perlmutter, Feng Gao+2 more|arXiv (Cornell University)|Nov 14, 2019

Advanced Graph Neural Networks参考文献 32被引用 10

一句话总结

本文引入了非对称图散射变换——包括有窗和无窗两种形式——采用一类通用的非对称小波，提供了与对称情形类似的稳定性与不变性理论保证。该方法将散射理论与图神经网络相融合，为图结构数据构建了可证明稳定且可学习的架构，具有坚实的理论基础。

ABSTRACT

The scattering transform is a multilayered wavelet-based deep learning architecture that acts as a model of convolutional neural networks. Recently, several works have introduced generalizations of the scattering transform for non-Euclidean settings such as graphs. Our work builds upon these constructions by introducing windowed and non-windowed graph scattering transforms based upon a very general class of asymmetric wavelets. We show that these asymmetric graph scattering transforms have many of the same theoretical guarantees as their symmetric counterparts. This work helps bridge the gap between scattering and other graph neural networks by introducing a large family of networks with provable stability and invariance guarantees. This lays the groundwork for future deep learning architectures for graph-structured data that have learned filters and also provably have desirable theoretical properties.

研究动机与目标

• 将散射变换框架扩展至使用非对称小波的非欧几里得图域。
• 在非对称小波之外，建立图散射变换的理论稳定性与不变性性质。
• 通过引入具有可证明优良性质的一系列架构，统一散射理论与图神经网络。
• 使未来的图神经网络能够使用可学习滤波器，同时保持理论保证。

提出的方法

• 提出一类通用的非对称小波，用于图散射变换，支持非对称滤波响应。
• 开发了图散射变换的有窗与无窗两种变体，以适应不同的不变性与稳定性需求。
• 在图拉普拉斯算子上应用多层小波变换，以提取分层且稳定的表征。
• 将图拉普拉斯算子用作微分算子，以定义基于小波的散射路径。
• 推导出诸如在图扰动下保持稳定性和对某些变换保持不变性等理论性质。
• 将对称散射的理论框架扩展至非对称设置，同时保留关键的不变性与稳定性结果。

实验结果

研究问题

• RQ1 非对称小波能否用于构建与对称情形具有相似理论保证的图散射变换？
• RQ2 在稳定性和不变性方面，有窗与无窗图散射变换有何异同？
• RQ3 在图上使用非对称小波时，哪些理论性质（如稳定性与不变性）可以被保留？
• RQ4 图散射框架能否被推广以支持可学习滤波器，同时保持可证明的性能保证？
• RQ5 使用非对称小波如何影响图神经网络的表征能力与鲁棒性？

主要发现

• 所提出的非对称图散射变换在图扰动下保持稳定性，与对称情形表现相似。
• 该变换对某些图变换保持不变性，确保了各层间结构信息的保留。
• 有窗与无窗变体均表现出可证明的理论保证，扩展了基于散射的图神经网络的应用范围。
• 该框架支持一大类具有可学习滤波器的架构，同时保持稳定性和不变性。
• 该工作为未来结合可学习滤波器与可证明鲁棒性的图神经网络奠定了理论基础。
• 非对称小波在不牺牲理论保证的前提下，实现了图上更丰富的表征学习。