[论文解读] PushNet: Efficient and Adaptive Neural Message Passing

Julian Busch, Jiaxing Pi+1 more|arXiv (Cornell University)|Mar 4, 2020

Advanced Graph Neural Networks参考文献 38被引用 8

一句话总结

PushNet 提出了一种异步、自适应的神经消息传递框架，通过使用近似个性化 PageRank（APPR）动态选择相关边进行信息传播，实现了节点自适应的感受野。该方法在五个真实世界数据集的半监督节点分类任务中达到最先进性能，部分情况下准确率更高且运行时间更短，与现有方法相比具有统计显著性优势。

ABSTRACT

Message passing neural networks have recently evolved into a state-of-the-art approach to representation learning on graphs. Existing methods perform synchronous message passing along all edges in multiple subsequent rounds and consequently suffer from various shortcomings: Propagation schemes are inflexible since they are restricted to $k$-hop neighborhoods and insensitive to actual demands of information propagation. Further, long-range dependencies cannot be modeled adequately and learned representations are based on correlations of fixed locality. These issues prevent existing methods from reaching their full potential in terms of prediction performance. Instead, we consider a novel asynchronous message passing approach where information is pushed only along the most relevant edges until convergence. Our proposed algorithm can equivalently be formulated as a single synchronous message passing iteration using a suitable neighborhood function, thus sharing the advantages of existing methods while addressing their central issues. The resulting neural network utilizes a node-adaptive receptive field derived from meaningful sparse node neighborhoods. In addition, by learning and combining node representations over differently sized neighborhoods, our model is able to capture correlations on multiple scales. We further propose variants of our base model with different inductive bias. Empirical results are provided for semi-supervised node classification on five real-world datasets following a rigorous evaluation protocol. We find that our models outperform competitors on all datasets in terms of accuracy with statistical significance. In some cases, our models additionally provide faster runtime.

研究动机与目标

• 为解决图神经网络中同步消息传递的局限性，如固定 k 跳邻域和对长距离依赖建模能力差的问题。
• 开发一种更高效、自适应的消息传递机制，聚焦于相关边而非所有邻居。
• 通过组合不同大小邻域的特征，实现多尺度表征学习。
• 在保持或提升训练效率的同时，实现半监督节点分类任务中的优越性能。

提出的方法

• 该方法采用异步推送式消息传递机制，仅沿最相关边传播信息，直至收敛。
• 将其等价地表述为在由近似个性化 PageRank（APPR）导出的稀疏、节点自适应邻域上的一轮同步消息传递迭代。
• 邻域选择由个性化重要性得分引导，从而形成捕捉有意义局部结构的节点自适应感受野。
• 通过聚合函数（如求和、最大值）组合多个邻域大小的表示，以学习多尺度表征。
• 通过 PushNet-PTP 和 PushNet-TPP 等变体支持不同的归纳偏置，其引入特征变换和注意力机制。
• APPR 计算被视为一次性预处理步骤，从而实现快速推理和高效训练。

实验结果

研究问题

• RQ1 与标准同步方法相比，异步消息传递机制是否能提升图上的表征学习性能？
• RQ2 基于 APPR 的动态自适应邻域选择如何影响模型性能与效率？
• RQ3 邻域表示的多尺度聚合在多大程度上能提升预测准确率？
• RQ4 局部性参数（α）和稀疏性参数（ε）等超参数如何影响模型性能与运行时间？
• RQ5 所提出的框架是否能在保持计算效率的同时实现半监督节点分类的最先进结果？

主要发现

• PushNet 在所有五个基准数据集上的准确率均显著优于所有基线模型，展现出一致的优越性。
• 在 Cora 和 CiteSeer 数据集上，PushNet 通过在多个 α 值上使用求和聚合，实现了最高准确率和最低方差，优于单 α 配置。
• PushNet-PP 的运行时间在所有模型中排名第二快，而 PushNet-PTP 在速度与准确率之间提供了出色的平衡。
• 提高稀疏性阈值 ε 可显著提升运行时间，同时仅导致准确率的微小下降，表明 ε 可安全提高以降低内存与计算成本。
• 消融实验表明，通过求和聚合实现的多尺度聚合能提升模型鲁棒性与性能，而最大值聚合未提升准确率且增加了运行时间。