[论文解读] Graph Neural Networks with distributed ARMA filters

Filippo Maria Bianchi, Daniele Grattarola+2 more|arXiv (Cornell University)|Jan 5, 2019

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出了一种基于分布式ARMA滤波器的新型图卷积层，相较于多项式滤波器，其频率响应更具灵活性，且对噪声的鲁棒性更强。该方法实现了高效、局部化且可迁移的GNN，其在半监督节点分类、图信号分类、图分类和图回归任务中均优于基于多项式滤波器的模型。

ABSTRACT

Popular graph neural networks implement convolution operations on graphs based on polynomial spectral filters. In this paper, we propose a novel graph convolutional layer inspired by the auto-regressive moving average (ARMA) filter that, compared to polynomial ones, provides a more flexible frequency response, is more robust to noise, and better captures the global graph structure. We propose a graph neural network implementation of the ARMA filter with a recursive and distributed formulation, obtaining a convolutional layer that is efficient to train, localized in the node space, and can be transferred to new graphs at test time. We perform a spectral analysis to study the filtering effect of the proposed ARMA layer and report experiments on four downstream tasks: semi-supervised node classification, graph signal classification, graph classification, and graph regression. Results show that the proposed ARMA layer brings significant improvements over graph neural networks based on polynomial filters.

研究动机与目标

• 为解决图神经网络中多项式谱滤波器的局限性，如频率响应不灵活和对噪声鲁棒性差。
• 开发一种图卷积层，以更好地捕捉全局图结构，同时保持在节点空间中的局部性。
• 实现在推理阶段对新图的高效训练与可迁移性。
• 提供对所提出的ARMA基层滤波行为的谱分析。

提出的方法

• 提出ARMA滤波的递归与分布式公式，实现在节点间的局部化计算。
• 设计一种基于ARMA滤波的图神经网络层，该层在谱域中运行，具有更灵活的频率响应。
• 引入一种分布式实现，保持计算效率，并支持对未见图的迁移学习。
• 采用谱分析以表征ARMA层对图信号的滤波效应。
• 使用递归更新机制，通过迭代消息传递计算节点表示，模拟ARMA动态。
• 将图卷积公式化为通过迭代方法求解的线性系统，确保可扩展性与局部性。

实验结果

研究问题

• RQ1 与多项式滤波器相比，基于ARMA的图卷积在频率响应灵活性和噪声鲁棒性方面表现如何？
• RQ2 ARMA基层是否能在保持节点空间局部性的同时有效捕捉全局图结构？
• RQ3 分布式ARMA公式在多大程度上实现了高效训练与对新图的可迁移性？
• RQ4 所提出方法在节点分类和图回归等多样化下游任务中的表现如何？

主要发现

• 基于ARMA的图卷积层在半监督节点分类任务中显著优于基于多项式滤波的GNN。
• 由于ARMA滤波器具有更灵活的频率响应，该方法对噪声表现出更强的鲁棒性。
• 分布式与递归公式实现了高效训练，并保持了节点空间中的局部性。
• 该模型在测试时对新图具有良好的泛化能力，支持迁移学习能力。
• 谱分析证实，ARMA层相比多项式滤波器提供了更受控且自适应的滤波响应。
• 在四个下游任务上的实证结果表明，所有基准测试中均取得一致性能提升，验证了该方法的有效性。