[论文解读] From Graph Filters to Graph Neural Networks

Fernando Gama, Elvin Isufi+2 more|arXiv (Cornell University)|Mar 8, 2020

Advanced Graph Neural Networks被引用 12

一句话总结

本文通过将图神经网络（GNNs）与图信号处理相联系，建立了其理论基础，表明使用图卷积滤波器的GNNs天然具备排列等变性和拓扑稳定性。这些特性解释了GNNs在物理网络中的可扩展性、可迁移性及有效性，而通过引入边变化滤波器和ARMA滤波器的扩展进一步增强了其在推荐系统和去中心化机器人控制等应用中的建模能力。

ABSTRACT

Network data can be conveniently modeled as a graph signal, where data values are assigned to nodes of a graph that describes the underlying network topology. Successful learning from network data is built upon methods that effectively exploit this graph structure. In this work, we leverage graph signal processing to characterize the representation space of graph neural networks (GNNs). We discuss the role of graph convolutional filters in GNNs and show that any architecture built with such filters has the fundamental properties of permutation equivariance and stability to changes in the topology. These two properties offer insight about the workings of GNNs and help explain their scalability and transferability properties which, coupled with their local and distributed nature, make GNNs powerful tools for learning in physical networks. We also introduce GNN extensions using edge-varying and autoregressive moving average graph filters and discuss their properties. Finally, we study the use of GNNs in recommender systems and learning decentralized controllers for robot swarms.

研究动机与目标

• 使用图信号处理原理理解GNNs的表征空间。
• 为GNNs建立理论保证，包括排列等变性以及对拓扑变化的稳定性。
• 通过引入边变化滤波器和自回归移动平均（ARMA）图滤波器扩展GNNs，以提升其建模能力。
• 展示GNNs在推荐系统和去中心化机器人集群控制等现实领域中的适用性。

提出的方法

• 将GNNs形式化为在图信号上运行的图卷积滤波器，以利用网络拓扑结构。
• 分析这些滤波器的数学性质，证明其在节点重排下具有排列等变性，并在拓扑扰动下保持稳定性。
• 提出边变化图滤波器，使其滤波响应可根据边的特定特征自适应调整。
• 提出基于ARMA的图滤波器，通过递归滤波建模高阶依赖关系。
• 将该框架应用于现实任务，包括推荐系统中的协同过滤和机器人集群的去中心化控制。
• 利用谱图理论推导出在结构变化下GNN行为的理论边界。

实验结果

研究问题

• RQ1 GNNs中的图卷积滤波器如何确保排列等变性并对拓扑变化保持稳定？
• RQ2 哪些理论特性解释了GNNs在物理网络中的可扩展性与可迁移性？
• RQ3 边变化滤波器和ARMA图滤波器如何提升GNNs的表征能力？
• RQ4 GNNs在推荐系统和机器人集群去中心化控制中有哪些有效的应用场景？

主要发现

• 采用图卷积滤波器的GNNs天然具备排列等变性，确保在节点重排下行为一致。
• 滤波器对小规模拓扑扰动表现出稳定性，支持在真实网络数据中的鲁棒性。
• 边变化图滤波器可根据边属性实现自适应滤波，增强模型表达能力。
• 基于ARMA的滤波器能够更灵活高效地建模图结构数据中的高阶依赖关系。
• 该理论框架成功支持了GNNs在推荐系统和去中心化机器人集群控制中的部署，展示了其实际可迁移性。