[论文解读] Training Matters: Unlocking Potentials of Deeper Graph Convolutional Neural Networks

Sitao Luan, Mingde Zhao+2 more|arXiv (Cornell University)|Aug 20, 2020

Advanced Graph Neural Networks参考文献 30被引用 7

一句话总结

本文挑战了主流观点，即更深的图卷积网络（GCNs）受限于固有的表达能力，转而指出训练难度——特别是反向传播过程中图信号能量的损失——是根本原因。通过引入拓扑重标度、权重归一化、能量归一化以及无需额外参数的跳跃连接，作者显著降低了训练难度，并在不改变模型容量的前提下，在节点分类任务上实现了显著的性能提升。

ABSTRACT

The performance limit of Graph Convolutional Networks (GCNs) and the fact that we cannot stack more of them to increase the performance, which we usually do for other deep learning paradigms, are pervasively thought to be caused by the limitations of the GCN layers, including insufficient expressive power, etc. However, if so, for a fixed architecture, it would be unlikely to lower the training difficulty and to improve performance by changing only the training procedure, which we show in this paper not only possible but possible in several ways. This paper first identify the training difficulty of GCNs from the perspective of graph signal energy loss. More specifically, we find that the loss of energy in the backward pass during training nullifies the learning of the layers closer to the input. Then, we propose several methodologies to mitigate the training problem by slightly modifying the GCN operator, from the energy perspective. After empirical validation, we confirm that these changes of operator lead to significant decrease in the training difficulties and notable performance boost, without changing the composition of parameters. With these, we conclude that the root cause of the problem is more likely the training difficulty than the others.

研究动机与目标

• 挑战深层GCN受限于固有表达能力的假设。
• 探究训练困难，特别是反向传播过程中信号能量损失，是否阻碍深层GCN的性能表现。
• 提出训练阶段的改进方法，以提升优化效果，同时不增加模型参数或改变网络架构。
• 通过实证验证，更好的训练可显著提升标准GCN基准上的性能表现。
• 证明GCN的性能瓶颈源于训练不稳定性，而非架构不足。

提出的方法

• 提出拓扑重标度（TR），通过学习自环分辨率参数来调整图算子（如重归一化拉普拉斯矩阵）。
• 引入能量归一化，通过基于图信号能量对隐藏表征进行归一化，以稳定梯度流动。
• 应用权重归一化，以改善GCN权重的优化动态。
• 采用无需拼接的跳跃连接，以保持梯度流动并减少梯度消失。
• 采用精细的权重初始化，以缓解初始阶段的梯度不稳定性。
• 将上述技术整合为统一的训练流程，以增强训练稳定性和收敛性。

实验结果

研究问题

• RQ1 深层GCN的性能瓶颈主要是由于表达能力不足，还是训练困难？
• RQ2 反向传播过程中图信号能量的损失如何影响深层GCN层的训练？
• RQ3 是否可以通过修改训练流程来减少能量损失并改善优化，而无需改变模型架构？
• RQ4 在拓扑重标度、归一化和跳跃连接中，哪种训练技术最有效地缓解深层GCN的训练困难？
• RQ5 仅通过改进训练过程，是否足以释放标准GCN架构的全部潜力，而无需架构修改？

主要发现

• 所提出的训练改进方法在保持相同参数量的前提下，将训练损失降低了50%以上，训练准确率提升了六倍以上。
• 测试集性能显著提升：在Cora数据集上，经过最佳方法微调后，准确率从74.66%提升至83.52%。
• 在PubMed数据集上，最佳方法达到了79.20%的准确率，相比基线绝对提升5.19%。
• 所有数据集上的性能增益均具有统计显著性，20次运行的偏差极低，表明性能提升稳定可靠。
• 结果证实，训练困难而非架构限制，是深层GCN的主要瓶颈。
• 拓扑重标度、权重归一化、能量归一化与跳跃连接的结合，在不增加参数的情况下实现了最强的性能增益。