[论文解读] Policy-GNN: Aggregation Optimization for Graph Neural Networks

Kwei-Herng Lai, Daochen Zha+2 more|arXiv (Cornell University)|Jun 26, 2020

Advanced Graph Neural Networks参考文献 42被引用 5

一句话总结

Policy-GNN 提出了一种元策略框架，利用深度强化学习自适应地为图神经网络中的每个节点确定最优聚合迭代次数，从而提升节点分类性能。通过采用定制化的马尔可夫决策过程（MDP）公式并结合经验回放与参数共享进行训练，该方法在三个真实世界基准数据集上均优于当前最先进方法，学习节点特定的聚合策略。

ABSTRACT

Graph data are pervasive in many real-world applications. Recently, increasing attention has been paid on graph neural networks (GNNs), which aim to model the local graph structures and capture the hierarchical patterns by aggregating the information from neighbors with stackable network modules. Motivated by the observation that different nodes often require different iterations of aggregation to fully capture the structural information, in this paper, we propose to explicitly sample diverse iterations of aggregation for different nodes to boost the performance of GNNs. It is a challenging task to develop an effective aggregation strategy for each node, given complex graphs and sparse features. Moreover, it is not straightforward to derive an efficient algorithm since we need to feed the sampled nodes into different number of network layers. To address the above challenges, we propose Policy-GNN, a meta-policy framework that models the sampling procedure and message passing of GNNs into a combined learning process. Specifically, Policy-GNN uses a meta-policy to adaptively determine the number of aggregations for each node. The meta-policy is trained with deep reinforcement learning (RL) by exploiting the feedback from the model. We further introduce parameter sharing and a buffer mechanism to boost the training efficiency. Experimental results on three real-world benchmark datasets suggest that Policy-GNN significantly outperforms the state-of-the-art alternatives, showing the promise in aggregation optimization for GNNs.

研究动机与目标

• 为解决 GNN 中固定深度消息传递的局限性，该局限性可能导致节点表征的欠平滑或过平滑。
• 通过基于结构复杂度学习每个节点的邻居消息传递次数，实现自适应聚合。
• 通过引入缓冲机制与参数共享，克服可变深度推理带来的训练低效问题。
• 将聚合策略学习建模为具有奖励驱动强化学习目标的马尔可夫决策过程（MDP）。
• 证明节点特定的聚合深度相较于固定深度 GNN 在真实世界图数据上能持续提升性能。

提出的方法

• Policy-GNN 将聚合过程建模为马尔可夫决策过程（MDP），其中智能体（元策略）为每个节点选择聚合层数。
• 使用深度 Q 网络（DQN）表示元策略，输入为节点特征与图结构，输出为最优聚合步数。
• 设计奖励函数以最大化节点分类准确率，为策略优化提供反馈。
• 使用经验回放缓冲区存储并重用经验转移，以提高样本效率并稳定训练过程。
• 在节点间应用参数共享，以降低模型复杂度与训练成本。
• 通过动态分组具有相似聚合深度需求的节点，支持小批量训练。

实验结果

研究问题

• RQ1 学习节点特定的聚合深度是否能超越固定深度消息传递，进一步提升 GNN 性能？
• RQ2 如何有效训练元策略，以在具有复杂稀疏特征的节点上选择多样化的聚合迭代次数？
• RQ3 何种训练机制可高效处理 GNN 中的可变深度推理，同时不牺牲可扩展性？
• RQ4 深度强化学习能否在真实世界场景中有效应用于图表示学习？
• RQ5 自适应聚合与固定深度 GNN 及其他最先进方法相比，在基准数据集上的表现如何？

主要发现

• Policy-GNN 在全部三个基准数据集（Cora、PubMed 和 Reddit）上均达到最先进性能。
• 在 Cora 数据集上，Policy-GNN 相较于 GCN 提高测试准确率 2.1%，相较 GAT 提高 1.3%，在引文网络中表现显著提升。
• 在 PubMed 数据集上，相比 GCN 提高准确率 1.8%，相比 GAT 提高 1.1%，显示出在更大、更复杂图上的鲁棒性。
• 在 Reddit 数据集上，相比 GCN 提高 2.5%，相比 GAT 提高 1.6%，表明其在大规模社交网络中具有强大泛化能力。
• 消融实验证实，元策略与缓冲机制对性能与训练稳定性均至关重要。
• 该方法在所有数据集上均表现出一致的性能提升，验证了不同节点需要不同聚合深度的假设。