[论文解读] Diffusion-Convolutional Neural Networks

James Atwood, Don Towsley|arXiv (Cornell University)|Nov 6, 2015

Advanced Graph Neural Networks被引用 493

一句话总结

该论文提出了一种新型深度学习框架——扩散-卷积神经网络（DCNNs），用于图结构化数据，通过可学习的扩散-卷积操作利用基于扩散的表示。通过将图扩散建模为矩阵幂级数，并与可学习权重及非线性激活函数结合，DCNNs 在节点分类任务中实现了最先进性能——优于概率关系模型和核方法——同时通过高效的GPU加速张量运算，保持了多项式时间的推理与训练效率。

ABSTRACT

We present diffusion-convolutional neural networks (DCNNs), a new model for graph-structured data. Through the introduction of a diffusion-convolution operation, we show how diffusion-based representations can be learned from graph-structured data and used as an effective basis for node classification. DCNNs have several attractive qualities, including a latent representation for graphical data that is invariant under isomorphism, as well as polynomial-time prediction and learning that can be represented as tensor operations and efficiently implemented on the GPU. Through several experiments with real structured datasets, we demonstrate that DCNNs are able to outperform probabilistic relational models and kernel-on-graph methods at relational node classification tasks.

研究动机与目标

• 开发一种灵活且可扩展的图结构化数据深度学习模型，提升预测性能而不增加计算复杂度。
• 解决在节点分类任务中整合结构信息的挑战，同时保持高效的训练与推理。
• 提供一种在图同构下不变的表示，确保在等价图之间保持结构一致性。
• 提供一个统一的框架，通过单一基于扩散-卷积操作的架构实现节点、边和图的分类。
• 在节点分类任务中超越现有方法，如概率关系模型和图核方法。

提出的方法

• 核心操作为扩散-卷积，通过归一化邻接矩阵的幂级数，聚合多跳图扩散中的特征，计算潜在表示。
• 扩散-卷积表示被计算为节点特征在H跳内通过图传播的加权和，其中包含可学习权重W^c和非线性激活函数f。
• 模型采用张量化公式：对于节点分类，输出为N×H×F张量，其中N为节点数，H为跳数，F为特征数。
• 预测与学习通过标准反向传播完成，前向传播涉及可高效并行化的矩阵乘法，适用于GPU。
• 该方法支持使用随机梯度下降的端到端训练，目标函数为分类任务的交叉熵损失。
• 由于扩散过程仅以对称方式依赖图结构和节点特征，该模型对图同构保持不变，确保同构图具有相同表示。

实验结果

研究问题

• RQ1 基于图扩散的深度学习模型是否能在节点分类任务中优于概率关系模型和核方法？
• RQ2 扩散-卷积操作是否能提供比原始图结构或固定核函数更有效且更具泛化能力的图结构化数据表示？
• RQ3 该模型是否能在保持高准确率的同时，于真实世界图数据集上维持预测与学习的多项式时间复杂度？
• RQ4 扩散-卷积表示在图同构下是否能有效保持结构不变性？
• RQ5 该模型在不同图学习任务（包括节点、边和整体图分类）中具有多大程度的泛化能力？

主要发现

• DCNNs 在节点分类任务中显著优于概率关系模型和图核方法，展示了在真实世界结构化数据集上的优越预测准确率。
• 该模型在保持多项式时间复杂度的同时，实现了节点分类的最先进性能，通过GPU加速的张量运算实现训练与推理的可扩展性。
• 扩散-卷积表示在图同构下保持不变，确保结构等价图具有统一的表示。
• 该模型通过极少的架构修改，即可支持多种分类任务（节点、边和图），使用统一架构。
• 学习过程高效，每个训练样本仅需一次前向与反向传播，复杂度主要由O(N²F)的矩阵乘法主导，适用于大规模图的可扩展性。
• 该表示以可学习的层次化方式结合节点特征与图结构，相比固定核方法，能实现更优的上下文特征学习。