[论文解读] Cooperative Graph Neural Networks

Ben Finkelshtein, Xingyue Huang+2 more|arXiv (Cornell University)|Oct 2, 2023

Advanced Graph Neural NetworksComputer Science被引用 3

一句话总结

该论文提出协作图神经网络（CO-GNNs），一种新型图神经网络框架，其中每个节点作为参与者，通过选择动态动作——'倾听'、'广播'、'倾听并广播'或'隔离'——来自适应地控制信息流动。该方法在合成数据集和真实世界基准测试中均优于标准图神经网络，在实现灵活、拓扑感知的消息传递方面表现优异，有效缓解了过平滑和过压缩问题，取得了当前最优性能。

ABSTRACT

Graph neural networks are popular architectures for graph machine learning, based on iterative computation of node representations of an input graph through a series of invariant transformations. A large class of graph neural networks follow a standard message-passing paradigm: at every layer, each node state is updated based on an aggregate of messages from its neighborhood. In this work, we propose a novel framework for training graph neural networks, where every node is viewed as a player that can choose to either 'listen', 'broadcast', 'listen and broadcast', or to 'isolate'. The standard message propagation scheme can then be viewed as a special case of this framework where every node 'listens and broadcasts' to all neighbors. Our approach offers a more flexible and dynamic message-passing paradigm, where each node can determine its own strategy based on their state, effectively exploring the graph topology while learning. We provide a theoretical analysis of the new message-passing scheme which is further supported by an extensive empirical analysis on a synthetic dataset and on real-world datasets.

研究动机与目标

• 通过在节点层面实现动态的信息流控制，解决标准消息传递图神经网络存在的过平滑和过压缩问题。
• 突破传统对称式消息传递范式，使节点能够根据自身状态自主决定是否倾听、广播或隔离。
• 构建一种协作框架，通过联合训练动作网络与环境网络，同时优化策略选择与任务性能。
• 证明所提出的框架在表达能力上超越1-重图同构测试，并更适用于长距离依赖任务。
• 在合成数据集和真实世界数据集上对方法进行实证验证，结果表明其在各类基线图神经网络上均表现出一致性的性能提升。

提出的方法

• 将每个节点建模为参与者，在每一层从四种动作中选择：LISTEN（倾听）、BROADCAST（广播）、STANDARD（倾听并广播）或 ISOLATE（隔离）。
• 提出双网络架构：动作网络 π 负责预测节点动作，环境网络 η 负责执行消息传递与特定任务的预测。
• 采用可微分消息传递机制，仅参与广播或倾听的节点才参与信息传递，从而支持通过动作决策进行反向传播。
• 通过端到端反向传播联合训练动作网络与环境网络，使动作网络能够基于节点表示学习最优策略。
• 在动作网络中采用求和型聚合（如 SUMGNN、GIN），以检测节点基数并区分有标签与无标签节点。
• 在环境网络中采用均值型聚合（如 GCN、GAT、MeanGNN），以追踪跨跳的平均特征，尤其适用于 minesweeper 等任务。

实验结果

研究问题

• RQ1 动态的、基于节点的行动选择机制是否能够超越标准对称范式，在图神经网络中改进消息传递？
• RQ2 在需要长距离依赖或处理异质性图的任务中，CO-GNN 框架相较于标准图神经网络表现如何？
• RQ3 动作网络与环境网络的不同架构设计对 CO-GNN 性能有何影响？
• RQ4 通过将输入图与计算图解耦，该框架是否能够有效缓解过平滑与过压缩问题？
• RQ5 所学习到的动作在真实世界与合成场景中是否能反映底层图拓扑结构与节点角色？

主要发现

• 在 minesweeper 基准测试中，CO-GNNs 取得了当前最优性能，无论环境网络与动作网络的组合如何，均显著优于所有基线图神经网络。
• 在合成的 ROOTNEIGHBORS 任务中，采用 SUMGNN 或 GIN 作为动作网络的 CO-GNNs 显著优于基线模型；而使用 GCN 或 GAT 作为动作网络时表现较差，原因在于其无法检测节点基数。
• 动作网络的选择至关重要：求和型聚合器（SUMGNN、GIN）能够有效区分 0 标签与非 0 标签节点，而均值型聚合器（GCN、GAT）在此任务中失效。
• 在 minesweeper 任务中，采用均值型聚合的环境网络（MeanGNN、GAT）在所有动作网络选择下均表现出稳健性能，而 GCN 因无法区分节点特征而表现欠佳。
• 可视化结果表明，CO-GNNs 能够动态重构连接结构：在早期层中隔离 0 标签节点以保留信号，而在后期层中将其连接以传播关键信息。
• 消融实验表明，动作网络与环境网络的联合训练实现了自适应、拓扑感知的消息传递，动作模式能够反映任务特定需求，例如在 minesweeper 网格中优先关注雷区密集区域。