[论文解读] DropMessage: Unifying Random Dropping for Graph Neural Networks

Taoran Fang, Zhiqing Xiao+4 more|arXiv (Cornell University)|Apr 21, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出了一种名为 DropMessage 的新型随机丢弃方法，其直接在图神经网络（GNNs）的传播消息上操作，将现有方法统一于单一框架之下。通过减少样本方差并保持信息多样性，DropMessage 稳定了训练过程，提升了模型的鲁棒性，并在多个数据集和模型上实现了最先进性能，尤其在过拟合、过平滑和噪声条件下显著提升了准确率与泛化能力。

ABSTRACT

Graph Neural Networks (GNNs) are powerful tools for graph representation learning. Despite their rapid development, GNNs also face some challenges, such as over-fitting, over-smoothing, and non-robustness. Previous works indicate that these problems can be alleviated by random dropping methods, which integrate augmented data into models by randomly masking parts of the input. However, some open problems of random dropping on GNNs remain to be solved. First, it is challenging to find a universal method that are suitable for all cases considering the divergence of different datasets and models. Second, augmented data introduced to GNNs causes the incomplete coverage of parameters and unstable training process. Third, there is no theoretical analysis on the effectiveness of random dropping methods on GNNs. In this paper, we propose a novel random dropping method called DropMessage, which performs dropping operations directly on the propagated messages during the message-passing process. More importantly, we find that DropMessage provides a unified framework for most existing random dropping methods, based on which we give theoretical analysis of their effectiveness. Furthermore, we elaborate the superiority of DropMessage: it stabilizes the training process by reducing sample variance; it keeps information diversity from the perspective of information theory, enabling it become a theoretical upper bound of other methods. To evaluate our proposed method, we conduct experiments that aims for multiple tasks on five public datasets and two industrial datasets with various backbone models. The experimental results show that DropMessage has the advantages of both effectiveness and generalization, and can significantly alleviate the problems mentioned above.

研究动机与目标

• 为解决图表示学习中常见的过拟合、过平滑和非鲁棒性问题，这些是图神经网络中的主要挑战。
• 将先前应用于特征或邻接矩阵的随机丢弃方法统一到一个基于消息空间操作的单一、连贯的框架中。
• 通过将随机丢弃与损失函数中的正则化联系起来，为 GNN 中随机丢弃的有效性提供理论依据。
• 通过最小化样本方差并保持消息中的信息多样性，提升训练稳定性和模型泛化能力。
• 在多种 GNN 架构和真实世界数据集（包括工业应用）上，证明 DropMessage 的优越性。

提出的方法

• DropMessage 在消息传递阶段直接对消息矩阵执行随机丢弃，使得同一源节点可向不同邻居发送不同的消息。
• 该方法通过将其统一框架下的特定规则建模为特殊情形，推广了现有方法。
• 理论分析表明，消息空间的丢弃引入了隐式正则化，从而提升了模型的鲁棒性与泛化能力。
• DropMessage 通过确保输入与输出消息之间的期望互信息保持较高水平，从而保持信息多样性，使其成为其他方法的理论上限。
• 该框架支持基于节点的丢弃率和基于平均值的丢弃率，其中前者在期望下保持了信息多样性。
• 在五个公开数据集和两个工业数据集上，使用 GCN、GAT 和 APPNP 作为主干模型，对节点分类、链接预测和鲁棒性任务进行了实验评估。

实验结果

研究问题

• RQ1 能否通过在消息矩阵上操作而非特征或邻接矩阵，为 GNN 中现有随机丢弃方法建立统一框架？
• RQ2 消息空间的随机丢弃在多大程度上影响 GNN 训练的稳定性与收敛性，特别是对样本方差的影响？
• RQ3 GNN 中的随机丢弃与损失函数中正则化之间的理论关系是什么？
• RQ4 与其它随机丢弃方法相比，DropMessage 在多大程度上保持了信息多样性，这种保持对模型性能有何影响？
• RQ5 在多种数据集和架构上，DropMessage 是否能有效缓解过拟合、过平滑和对抗性噪声，优于现有方法？

主要发现

• 在 30% 输入扰动条件下，与未使用随机丢弃的模型相比，DropMessage 在鲁棒性方面实现了平均 37% 的提升。
• 在 Cora 数据集上，对于深度 ≥3 的模型，DropMessage 平均将 MADGap 提升 3.3%，测试准确率提升 4.9%，在缓解过平滑方面优于其他方法。
• DropMessage 在训练损失中表现出最小的样本方差，相比其他随机丢弃技术，实现了更快的收敛速度和更稳定的训练过程。
• 在信息多样性分析中，基于节点的丢弃设置（丢弃率设为理论上限）在所有主干模型上均比基于平均值的设置高出 0.8–1.5%，证实了保持多样性的重要性。
• DropMessage 在多种 GNN 架构和数据集上均表现出泛化能力，无论是在公开基准数据集还是在两个工业数据集上，均实现了稳定的性能提升。
• 理论分析证实，消息空间的丢弃引入了正则化，解释了其在提升模型鲁棒性与泛化能力方面的有效性。