[论文解读] Deep Graph Attention Model

John Boaz Lee, Ryan A. Rossi+1 more|arXiv (Cornell University)|Sep 15, 2017

Advanced Graph Neural Networks参考文献 26被引用 11

一句话总结

本文提出图注意力模型（GAM），一种带有注意力机制和外部记忆的循环神经网络，可选择性地处理图分类中的信息子图。通过聚焦于显著区域而非整个图，GAM-mem 在五个基准数据集上实现了最先进性能，包括 NCI-33 和 NCI-83。

ABSTRACT

Graph classification is a problem with practical applications in many different domains. Most of the existing methods take the entire graph into account when calculating graph features. In a graphlet-based approach, for instance, the entire graph is processed to get the total count of different graphlets or sub-graphs. In the real-world, however, graphs can be both large and noisy with discriminative patterns confined to certain regions in the graph only. In this work, we study the problem of attentional processing for graph classification. The use of attention allows us to focus on small but informative parts of the graph, avoiding noise in the rest of the graph. We present a novel RNN model, called the Graph Attention Model (GAM), that processes only a portion of the graph by adaptively selecting a sequence of "interesting" nodes. The model is equipped with an external memory component which allows it to integrate information gathered from different parts of the graph. We demonstrate the effectiveness of the model through various experiments.

研究动机与目标

• 解决现有图分类方法处理整个图所导致的局限性，这些方法可能引入噪声并产生高计算成本。
• 提升在大规模、嘈杂的真实世界图中对稀疏且局部化的判别性模式的分类性能。
• 开发一种利用注意力机制动态选择信息子图区域的模型，减少对全局图统计特征的依赖。
• 集成外部记忆组件，聚合来自多个访问节点的信息，增强表征学习能力。
• 证明聚焦于小而相关的子图可获得优于处理整个图的性能，尤其在信噪比低的情况下。

提出的方法

• 提出一种基于注意力机制选择节点序列的循环神经网络（RNN）架构。
• 使用注意力网络为每个节点计算得分，以指导图中下一个访问节点的选择。
• 引入外部记忆组件，存储并聚合已访问节点的隐藏状态，实现长距离信息整合。
• 对记忆中的历史向量应用加权池化，以支持更长的游走路径并提升表征质量。
• 使用基于策略梯度的强化学习方法进行模型训练，奖励函数基于预测准确率。
• 固定超参数，如序列长度 $T=12$，采样数量 $M=20$，并使用 Adam 优化配合学习率调度。

实验结果

研究问题

• RQ1 基于注意力的 RNN 模型是否能通过选择性处理子图，在图分类任务中优于处理整个图的模型？
• RQ2 引入外部记忆组件如何影响基于注意力的图分类模型的性能？
• RQ3 限制模型仅观察图的一部分是否会导致性能下降，注意力机制能否缓解这一问题？
• RQ4 模型性能对节点访问序列长度 $T$ 的敏感度如何？
• RQ5 随机注意力（即随机采样子图）能否达到与学习到的注意力相当的性能，这说明注意力机制的价值是什么？

主要发现

• 带有记忆的图注意力模型（GAM-mem）在五个图分类数据集上达到最先进性能，在其中四个数据集上排名第一，在 NCI-33 上排名第二。
• GAM-mem 始终优于 GAM，证明外部记忆通过整合来自多个图区域的信息，显著提升了表征学习能力。
• 即使仅能访问图的一部分，GAM 的性能仍优于 Agg-Attr 和 Agg-WL 等全图基线模型，表明选择性注意力比全局处理更有效。
• 对基线模型（Agg-Attr 和 Agg-WL）应用随机注意力会显著降低其性能，尤其 Agg-WL 在四个数据集上几乎表现随机，证明注意力并非仅作为正则化手段，而是识别有用子结构的关键机制。
• 即使在短路径游走（$T \leq 3$）下，模型仍表现强劲，仅比最佳性能低 5–6%，表明分子图相对较小，局部模式具有高度信息量。
• 增加 $T$ 可提升 GAM 和 GAM-mem 的性能，其中 GAM-mem 受益更多，因其能通过加权记忆池化机制有效利用更长序列的信息。