[论文解读] Label-GCN: An Effective Method for Adding Label Propagation to Graph Convolutional Networks

Claudio Bellei, Hussain Alattas+1 more|arXiv (Cornell University)|Apr 5, 2021

Advanced Graph Neural Networks参考文献 40被引用 7

一句话总结

Label-GCN 通过在训练过程中有选择性地移除第一层标签特征中的自环，对图卷积网络（GCNs）进行了简单而有效的改进，从而在不增加超参数的情况下实现标签传播。这在归纳和直推设置下均带来了显著的性能提升，尤其在推理时可利用邻居标签的情况下，使 Elliptic 数据集的 F1 分数最高提升了 36.4%，即使在发生重大结构破坏后依然表现优异。

ABSTRACT

We show that a modification of the first layer of a Graph Convolutional Network (GCN) can be used to effectively propagate label information across neighbor nodes, for binary and multi-class classification problems. This is done by selectively eliminating self-loops for the label features during the training phase of a GCN. The GCN architecture is otherwise unchanged, without any extra hyper-parameters, and can be used in both a transductive and inductive setting. We show through several experiments that, depending on how many labels are available during the inference phase, this strategy can lead to a substantial improvement in the model performance compared to a standard GCN approach, including with imbalanced datasets.

研究动机与目标

• 解决标准 GCN 的局限性：即使邻近节点很可能具有相同标签，训练过程中也不利用标签信息。
• 开发一种方法，在不增加模型复杂度或引入新超参数的前提下，将标签传播整合到 GCN 中。
• 在直推和归纳设置下实现有效的性能提升，尤其在推理时可获取邻居节点标签的情况下。
• 保持与现有 GCN 架构及其变体的兼容性，确保在不同图学习任务中具有广泛适用性。

提出的方法

• 该方法通过在训练期间仅对第一层的标签特征移除自环，修改 GCN 的第一层，同时为特征传播保留标准的 GCN 架构。
• 标签特征被视为输入矩阵 X 的一部分，其自连接在第一层 GCN 的归一化邻接矩阵 Â 中被消除。
• 归一化过程保持不变，使用 Â = D̃⁻¹/² Ã D̃⁻¹/²，其中 Ã = A + I，但在第一卷积层之前，从输入矩阵中将标签特征的自环置零。
• 该方法兼容直推和归纳设置，因为推理时无需完整的图结构。
• 未引入额外参数或超参数；该方法是标准 GCN 训练的即插即用增强。
• 该模型利用 GCN 的归纳偏置，同时通过修改第一层的消息传递机制引入标签信息。

实验结果

研究问题

• RQ1 对 GCN 第一层进行最小修改，是否能有效在图中传播标签信息，而无需增加超参数？
• RQ2 通过该方法引入邻居标签信息后，对直推和归纳节点分类任务的性能有何影响？
• RQ3 该方法是否能提升对结构变化的鲁棒性，例如主要网络组件的中断（如比特币网络中暗网市场的关闭）？
• RQ4 与标准 GCN 相比，Label-GCN 在类别不平衡数据集上的表现如何，尤其在推理时仅能获取部分标签的情况下？

主要发现

• 在暗市场关闭后（t ≥ t₄₃），Label-GCN 在 Elliptic 数据集上实现了 36.4% 的 F1 分数，显著优于标准 GCN 的 1.5%。
• 在归纳设置下，Label-GCN 的 F1 分数达到 75.5%（±0.3），而 GCN 仅为 56.4%（±1.4），表明其对未见节点具有强大的泛化能力。
• 在归纳设置下，当推理时可获取邻居标签时，Label-GCN 在非法类别上的 F1 分数较 GCN 提升了 22.2%。
• 该方法在多个数据集上均保持了性能优势，包括引文网络和比特币反洗钱网络，即使存在类别不平衡问题。
• Label-GCN 提升了模型对结构破坏的鲁棒性，如暗市场关闭后 F1 分数仍持续提升。
• 当推理时可获取更多标签时，性能提升最为显著，证实了该方法对邻居标签传播的依赖性。