[论文解读] Graphs, Convolutions, and Neural Networks.

Fernando Gama, Elvin Isufi+2 more|arXiv (Cornell University)|Mar 8, 2020

Advanced Graph Neural Networks参考文献 13被引用 15

一句话总结

本文提出了一种图信号处理框架，用于分析图神经网络（GNNs），证明了具有图卷积滤波器的GNNs天然具备排列等变性和拓扑稳定性。这些特性解释了GNNs在物理网络中的可扩展性、可迁移性和有效性，其扩展包括边变和自回归滤波器，并在推荐系统和机器人集群控制中得到应用。

ABSTRACT

Network data can be conveniently modeled as a graph signal, where data values are assigned to nodes of a graph that describes the underlying network topology. Successful learning from network data is built upon methods that effectively exploit this graph structure. In this work, we leverage graph signal processing to characterize the representation space of graph neural networks (GNNs). We discuss the role of graph convolutional filters in GNNs and show that any architecture built with such filters has the fundamental properties of permutation equivariance and stability to changes in the topology. These two properties offer insight about the workings of GNNs and help explain their scalability and transferability properties which, coupled with their local and distributed nature, make GNNs powerful tools for learning in physical networks. We also introduce GNN extensions using edge-varying and autoregressive moving average graph filters and discuss their properties. Finally, we study the use of GNNs in recommender systems and learning decentralized controllers for robot swarms.

研究动机与目标

• 使用图信号处理原理表征图神经网络（GNNs）的表示空间。
• 通过分析图卷积滤波器在确保结构鲁棒性中的作用，建立GNNs的理论基础。
• 通过边变和自回归移动平均图滤波器扩展GNN架构，以增强建模能力。
• 研究GNNs在机器人集群去中心化控制和推荐系统协同过滤中的实际应用。

提出的方法

• 将网络数据建模为图信号，基于图拓扑为节点分配数值，以实现结构化学习。
• 从图信号处理的视角分析GNNs，重点关注图卷积滤波器的谱特性和空间特性。
• 证明了具有图卷积滤波器的GNNs具有排列等变性，并对小规模拓扑扰动保持稳定。
• 引入边变图滤波器，使其响应根据边特征自适应调整，从而提升表达能力。
• 提出自回归移动平均（ARMA）图滤波器，以建模图结构数据中的高阶依赖关系。
• 将所提出的GNN框架应用于实际任务，包括推荐系统和机器人集群的去中心化控制。

实验结果

研究问题

• RQ1 GNNs中的图卷积滤波器如何确保排列等变性并保持对拓扑变化的稳定性？
• RQ2 GNNs在物理和网络化系统中具备可扩展性和可迁移性的理论基础是什么？
• RQ3 边变图滤波器如何提升GNNs的表征能力？
• RQ4 ARMA图滤波器在提升GNNs对复杂图动态建模能力方面有哪些作用？
• RQ5 GNNs在推荐系统和去中心化机器人集群控制等实际应用中的表现如何？

主要发现

• 具有图卷积滤波器的GNNs天然具备排列等变性，确保在节点顺序变化时仍保持一致的表示。
• GNNs对小规模拓扑扰动的稳定性已通过数学证明，支持其在真实网络中的鲁棒性。
• 边变图滤波器可基于边特异性特征实现自适应滤波，提升建模灵活性。
• 基于ARMA的图滤波器为建模高阶依赖关系提供了结构化方法，并提升了复杂图结构中的学习性能。
• 所提出的GNN扩展在推荐系统中表现优异，可在图结构的用户-项目交互中实现精确的协同过滤。
• GNNs能有效学习机器人集群的去中心化控制策略，利用局部分布式计算实现可扩展的协调。