[论文解读] Dimensional Reweighting Graph Convolutional Networks

Xu Zou, Qiuye Jia+4 more|arXiv (Cornell University)|Jul 4, 2019

Advanced Graph Neural Networks参考文献 39被引用 5

一句话总结

本文提出维度重加权图卷积网络（DrGCNs），一种轻量级、灵活的模块，通过利用全局节点表征统计信息，自适应地重加权图卷积网络（GCN）层中的特征维度。通过减少节点表征中特征维度间的协方差，DrGCNs 稳定了训练过程，并在节点分类基准上实现了最先进性能，包括在数据污染数据集和大规模工业推荐系统上的显著提升。

ABSTRACT

Graph Convolution Networks (GCNs) are becoming more and more popular for learning node representations on graphs. Though there exist various developments on sampling and aggregation to accelerate the training process and improve the performances, limited works focus on dealing with the dimensional information imbalance of node representations. To bridge the gap, we propose a method named Dimensional reweighting Graph Convolution Network (DrGCN). We theoretically prove that our DrGCN can guarantee to improve the stability of GCNs via mean field theory. Our dimensional reweighting method is very flexible and can be easily combined with most sampling and aggregation techniques for GCNs. Experimental results demonstrate its superior performances on several challenging transductive and inductive node classification benchmark datasets. Our DrGCN also outperforms existing models on an industrial-sized Alibaba recommendation dataset.

研究动机与目标

• 为解决 GCN 中节点表征维度间方差过高的问题，该问题可能导致训练不稳定并降低性能。
• 开发一种轻量级、即插即用的模块，基于全局图统计信息对特征维度进行重加权，以提升 GCN 的训练稳定性和泛化能力。
• 提出一种新度量 $K$，用于量化维度重加权的有效性，从而为不同 GCN 变体和数据集上的部署提供指导。
• 纠正广泛使用的基准数据集（Cora、Citeseer）中存在数据质量问题（如标签泄漏和重复样本），以实现公平评估。
• 在真实世界的大规模工业级推荐系统上验证 DrGCNs，证明其在标准基准之外的实际应用价值。

提出的方法

• 引入一个维度重加权模块（Dr Block），通过逐元素乘法操作，对节点表征的每个特征维度应用一个可学习的共享缩放向量 $\mathbf{s}$。
• 重加权向量 $\mathbf{s}$ 通过两阶段过程生成：首先将所有节点特征的加权平均计算为全局节点表征 $\mathbf{r}^{in}$，然后将其输入一个小型两层多层感知机（MLP）以生成 $\mathbf{s}$。
• Dr Block 插入在每个 GCN 层之前，将 $\mathbf{R}^{in}$ 修改为 $\mathbf{S}\mathbf{R}^{in}$，其中 $\mathbf{S}$ 是重加权向量的对角矩阵，且不改变 GCN 的聚合或消息传递机制。
• 理论分析将 DrGCNs 与均场理论联系起来，证明维度重加权可降低梯度方差并提升训练稳定性。
• 提出一种新度量 $K$，用于量化在给定数据集和 GCN 变体上维度重加权的潜在收益，指导何时以及在多大程度上可预期性能提升。
• 采用一种简单而有效的策略：使用可学习的、类似全局注意力的机制，基于整个图中各特征维度的重要性对特征维度进行重新校准。

实验结果

研究问题

• RQ1 自适应地重加权特征维度是否能降低 GCN 节点表征中维度间的协方差，并提升训练稳定性？
• RQ2 在标准基准上，所提出的 DrGCN 模块在节点分类准确率方面与最先进 GCN 变体相比表现如何？
• RQ3 决定维度重加权有效性的因素是什么？我们能否在不同数据集和 GCN 架构上量化其潜在收益？
• RQ4 标准基准（如 Cora 和 Citeseer）中存在的数据质量问题（如标签泄漏和重复样本）在多大程度上影响了报告的性能？DrGCN 在修正后的版本上表现如何？
• RQ5 DrGCNs 是否能在真实世界的大规模工业应用（如大规模推荐系统）中实现可测量的性能提升？

主要发现

• 在 Reddit 数据集上，DrGCNs 将特征维度间的输入协方差降低了 68%，显著提升了表征质量。
• 在 Reddit 数据集上，与之前最先进方法相比，DrGCNs 将误分类率降低了 40%。
• 在修复 Cora 和 Citeseer 中的标签泄漏和重复样本等数据质量问题后，DrGCNs 在现有 SOTA 方法之上表现出一致且显著的性能提升。
• 所提出的度量 $K$ 成功预测了 DrGCNs 在不同数据集和 GCN 变体上的潜在改进，为实际部署提供了实用指导。
• DrGCNs 在大规模工业推荐系统上实现了可测量的性能提升，经离线评估验证。
• Dr Block 引入的计算开销可忽略不计，复杂度为 $O(ag)$，其中 $g$ 是重加权 MLP 的隐藏维度，使其在实际应用中高度高效且可部署。