[论文解读] DAGCN: Dual Attention Graph Convolutional Networks

Fengwen Chen, Shirui Pan+3 more|arXiv (Cornell University)|Apr 4, 2019

Advanced Graph Neural Networks参考文献 44被引用 7

一句话总结

DAGCN 在图卷积网络中提出了一种双注意力机制，通过注意力图卷积层捕获分层邻域特征，并通过自注意力池化层优化图级表征，从而提升图分类性能。该模型在 NCI1、ENZYMES 和 NCI109 等基准数据集上的表现优于当前最先进方法，实现了更高的准确率和更快的收敛速度。

ABSTRACT

Graph convolutional networks (GCNs) have recently become one of the most powerful tools for graph analytics tasks in numerous applications, ranging from social networks and natural language processing to bioinformatics and chemoinformatics, thanks to their ability to capture the complex relationships between concepts. At present, the vast majority of GCNs use a neighborhood aggregation framework to learn a continuous and compact vector, then performing a pooling operation to generalize graph embedding for the classification task. These approaches have two disadvantages in the graph classification task: (1)when only the largest sub-graph structure ($k$-hop neighbor) is used for neighborhood aggregation, a large amount of early-stage information is lost during the graph convolution step; (2) simple average/sum pooling or max pooling utilized, which loses the characteristics of each node and the topology between nodes. In this paper, we propose a novel framework called, dual attention graph convolutional networks (DAGCN) to address these problems. DAGCN automatically learns the importance of neighbors at different hops using a novel attention graph convolution layer, and then employs a second attention component, a self-attention pooling layer, to generalize the graph representation from the various aspects of a matrix graph embedding. The dual attention network is trained in an end-to-end manner for the graph classification task. We compare our model with state-of-the-art graph kernels and other deep learning methods. The experimental results show that our framework not only outperforms other baselines but also achieves a better rate of convergence.

研究动机与目标

• 解决传统 GCN 仅依赖最大 k 跳子图进行聚合时早期邻域信息丢失的问题。
• 克服简单池化操作（如平均、求和、最大池化）丢弃节点特异性和拓扑信息的局限性。
• 构建一个端到端可训练的框架，通过注意力机制联合学习节点级表征与图级嵌入。
• 通过建模图的局部与全局结构模式，提升模型的泛化能力与表征质量。

提出的方法

• 引入注意力图卷积（AGC）层，为不同跳数距离的邻居分配可学习的注意力权重，实现分层特征学习。
• 采用自注意力池化层，通过计算节点嵌入之间的注意力系数，生成固定大小的、综合的图表示矩阵。
• 使用残差学习结构以稳定训练过程并改善深层网络中的梯度流动。
• 使用反向传播对整个 DAGCN 框架进行端到端训练，用于图分类任务。
• 在池化层中应用多头注意力机制，以捕捉图嵌入矩阵的多样化特征。
• 在最终的图嵌入矩阵上使用全连接层，生成最终的分类预测结果。

实验结果

研究问题

• RQ1 注意力机制是否能够提升图卷积网络中分层邻域结构的表征能力？
• RQ2 自注意力池化是否在保留节点级与拓扑信息方面优于传统池化方法，从而提升图分类性能？
• RQ3 端到端训练双注意力机制是否能实现比现有 GCN 和图核方法更快的收敛速度与更好的泛化能力？
• RQ4 DAGCN 在标准图分类基准测试中与 DGCNN 和图核等 SOTA 模型相比表现如何？
• RQ5 双注意力机制在异构图数据集中在多大程度上增强了模型的可解释性与特征学习能力？

主要发现

• DAGCN 在 NCI1、ENZYMES 和 NCI109 数据集上的分类准确率均高于图核方法与深度学习基线模型。
• 即使在相同训练迭代次数（200 次）和学习率下，DAGCN 的收敛速度也明显快于 DGCNN。
• 双注意力机制有效保留了局部子结构与全局拓扑信息，减少了图卷积过程中的信息损失。
• DAGCN 的端到端训练机制实现了特征提取与表征学习的联合优化，优于使用固定手工设计特征的方法。
• DAGCN 的计算复杂度与数据集大小及图大小呈线性关系，而图核的复杂度呈二次方甚至指数增长。
• 自注意力池化层通过聚焦关键节点与子图，成功生成了紧凑且信息丰富的图嵌入矩阵，从而提升了模型性能。