[论文解读] Memory-Based Graph Networks
该论文提出了一种基于记忆的图网络（MemGNN）和图记忆网络（GMN），通过多头记忆层联合学习层次化节点表征并粗化图结构，在九项图分类与回归基准测试中的八项上达到最先进性能，包括在分子中准确识别出具有化学意义的子结构。
Graph neural networks (GNNs) are a class of deep models that operate on data with arbitrary topology represented as graphs. We introduce an efficient memory layer for GNNs that can jointly learn node representations and coarsen the graph. We also introduce two new networks based on this layer: memory-based GNN (MemGNN) and graph memory network (GMN) that can learn hierarchical graph representations. The experimental results shows that the proposed models achieve state-of-the-art results in eight out of nine graph classification and regression benchmarks. We also show that the learned representations could correspond to chemical features in the molecule data. Code and reference implementations are released at: https://github.com/amirkhas/GraphMemoryNet
研究动机与目标
- 开发一种高效的记忆层，以在图神经网络中联合执行图粗化与节点表征学习。
- 设计两种新颖架构——MemGNN与GMN，利用该记忆层实现层次化图表征学习。
- 实现端到端学习有意义且可解释的图结构（如分子数据中的功能基团）。
- 通过避免在每次池化步骤后进行迭代消息传递，相比现有池化机制降低计算开销。
提出的方法
- 该记忆层使用可学习键的多头数组，将节点表征聚类为全局抽象簇，而无需依赖显式的连接信息。
- 前一层的节点表征作为查询，用于关注记忆键，通过软聚类分配与聚合生成粗化后的节点表征。
- 记忆层采用卷积操作聚合来自多头的注意力分数，实现鲁棒且可微的聚类。
- MemGNN结合图神经网络进行初始表征学习，并通过堆叠记忆层构建从局部到全局图层级的表征。
- GMN完全摒弃消息传递，通过多层记忆层直接学习层次化表征，实现更快的推理速度。
- 拓扑嵌入通过图扩散（如随机游走或热核）初始化，以增强结构感知能力，且无需显式依赖边信息。
实验结果
研究问题
- RQ1基于记忆的层是否能比现有池化机制更高效地联合学习节点表征并粗化图结构？
- RQ2所学习的记忆键是否对应于分子图中语义上有意义的子结构（如功能基团）？
- RQ3键数与头数如何影响模型在不同图尺寸数据集上的性能与泛化能力？
- RQ4完全基于记忆层的模型（GMN）是否能在图级别预测任务中超越基于消息传递的GNN？
- RQ5记忆层中缺乏显式连接信息是否会影响其在拓扑复杂图上的性能？
主要发现
- MemGNN在九项图分类与回归基准测试中的八项上达到最先进性能，包括在ESOL（RMSE = 0.52）和亲脂性（Lipophilicity）任务上的最先进结果。
- 在Collab数据集上，采用随机邻居采样时，模型达到73.9%的10折交叉验证准确率，优于基于RWR的采样方法（73.1%）。
- 对所学习聚类的可视化显示，记忆键对应于分子中的已知化学子结构，如羟基（OH）、羧基（COOH）和苯环。
- 在固定参数预算下，增加记忆头数可提升性能——例如，在ESOL数据集上，32个键与5个头的配置达到RMSE = 0.53，而160个键与1个头的配置为RMSE = 0.54。
- 随机初始化的记忆键性能与K-Means初始化相当，表明端到端训练能有效学习有意义的聚类中心，而无需预热初始化。
- 记忆层在不依赖局部拓扑信息的前提下，有效实现图粗化与表征聚合，避免了过度平滑，实现了高效推理。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。