[论文解读] Exploiting Edge Features in Graph Neural Networks

Liyu Gong, Qiang Cheng|arXiv (Cornell University)|Sep 7, 2018

Machine Learning in Materials Science被引用 10

一句话总结

该论文提出边缘增强图神经网络（EGNN），通过双随机归一化、跨层自适应边缘特征更新以及广义注意力机制，利用多维边缘特征提升图学习性能。该方法在节点分类和分子性质预测任务上优于GCN和GAT，在Tox21数据集上AUC提升超过0.2，在Freesolv数据集上RMSE改善达0.3。

ABSTRACT

Edge features contain important information about graphs. However, current state-of-the-art neural network models designed for graph learning, e.g. graph convolutional networks (GCN) and graph attention networks (GAT), adequately utilize edge features, especially multi-dimensional edge features. In this paper, we build a new framework for a family of new graph neural network models that can more sufficiently exploit edge features, including those of undirected or multi-dimensional edges. The proposed framework can consolidate current graph neural network models; e.g. graph convolutional networks (GCN) and graph attention networks (GAT). The proposed framework and new models have the following novelties: First, we propose to use doubly stochastic normalization of graph edge features instead of the commonly used row or symmetric normalization approches used in current graph neural networks. Second, we construct new formulas for the operations in each individual layer so that they can handle multi-dimensional edge features. Third, for the proposed new framework, edge features are adaptive across network layers. As a result, our proposed new framework and new models can exploit a rich source of graph information. We apply our new models to graph node classification on several citation networks, whole graph classification, and regression on several molecular datasets. Compared with the current state-of-the-art methods, i.e. GCNs and GAT, our models obtain better performance, which testify to the importance of exploiting edge features in graph neural networks.

研究动机与目标

• 为解决当前SOTA图神经网络（如GCN和GAT）中多维边缘特征利用不足的问题。
• 通过在各网络层动态调整边缘特征而非使用固定的初始邻接矩阵，提升图表示学习能力。
• 构建统一框架，扩展GCN和GAT以支持丰富、多维的边缘特征。
• 通过新型定向边缘特征设计，实现对有向图的有效建模。
• 在节点分类和图级回归/分类任务上，实证验证所提框架的优越性。

提出的方法

• 提出边缘特征的双随机归一化，替代GCN和GAT中使用的行归一化或对称归一化。
• 提出广义注意力机制，将多维边缘特征融入注意力权重计算过程。
• 设计可学习的边缘特征更新机制，使各层边缘特征可自适应调整，实现边缘表示的动态优化。
• 开发新型消息传递公式，支持图卷积运算中的多维边缘特征。
• 采用指数线性单元（ELU）作为激活函数，并使用带有L2正则化的Adam优化器进行训练。
• 通过对称变换构建定向边的边缘特征，以在模型中保留方向信息。

实验结果

研究问题

• RQ1 与二值或一维边缘特征相比，多维边缘特征是否能显著提升图神经网络的性能？
• RQ2 在各层中自适应学习边缘特征是否优于使用固定边缘特征，从而带来更优的表示学习？
• RQ3 双随机归一化与行归一化或对称归一化相比，在模型稳定性和性能方面表现如何？
• RQ4 所提框架是否能有效处理具有丰富边缘属性的无向图和有向图？
• RQ5 在节点级和图级预测任务中，引入边缘特征能在多大程度上提升性能？

主要发现

• 在Tox21数据集上，EGNN(C)和EGNN(A)在多标签分类任务中相较Weave基线模型，平均AUC提升超过0.2。
• 在Lipophilicity数据集上，EGNN模型在回归任务中相较Weave模型，RMSE降低约0.1。
• 在Freesolv数据集上，EGNN模型相较Weave基线模型，在回归任务中RMSE改善约0.3。
• 在三个分子数据集上，EGNN(C)和EGNN(A)的性能几乎完全一致，表明对网络架构变化具有鲁棒性。
• 消融实验表明，双随机归一化、自适应边缘特征和多维注意力机制各组件均对整体性能提升有显著贡献。
• 所提框架在所有基准数据集上均持续优于GCN和GAT，证明其泛化能力和有效性。