[论文解读] Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning

Qimai Li, Zhichao Han+1 more|arXiv (Cornell University)|Jan 22, 2018

Advanced Graph Neural Networks被引用 395

一句话总结

该论文通过证明 GCNs 执行拉普拉斯平滑来分析其工作原理，识别过平滑等局限性和验证需求，并提出使用随机游走的共训练和自训练来在极少标签的情况下提升半监督学习。

ABSTRACT

Many interesting problems in machine learning are being revisited with new deep learning tools. For graph-based semisupervised learning, a recent important development is graph convolutional networks (GCNs), which nicely integrate local vertex features and graph topology in the convolutional layers. Although the GCN model compares favorably with other state-of-the-art methods, its mechanisms are not clear and it still requires a considerable amount of labeled data for validation and model selection. In this paper, we develop deeper insights into the GCN model and address its fundamental limits. First, we show that the graph convolution of the GCN model is actually a special form of Laplacian smoothing, which is the key reason why GCNs work, but it also brings potential concerns of over-smoothing with many convolutional layers. Second, to overcome the limits of the GCN model with shallow architectures, we propose both co-training and self-training approaches to train GCNs. Our approaches significantly improve GCNs in learning with very few labels, and exempt them from requiring additional labels for validation. Extensive experiments on benchmarks have verified our theory and proposals.

研究动机与目标

• 澄清 GCN 在半监督学习中的运作原理，以及它们成功或失败的原因。
• 分析由拉普拉斯平滑引起的浅层和深层 GCN 架构的局限。
• 提出训练时策略（与随机游走的共训练和自训练）以在标签很少的情况下提升性能。
• 在标准基于图的基准数据集上展示经验收益，无需额外的验证数据。

提出的方法

• 证明 GCN 卷积是对称拉普拉斯平滑的一种特殊形式。
• 推导传播规则 H^{(l+1)} = sigma( D~^{-1/2} A~ D~^{-1/2} H^{(l)} Theta^{(l)} ).
• 解释为何拉普拉斯平滑鼓励同簇特征相似性并可能在多层之间引起过平滑。
• 提出与随机游走的共训练（ParWalks），以将全局图结构注入训练。
• 提出自训练，通过 GCN 预测扩展标记集合。
• 将共训练和自训练（联盟与交集）结合起来，以在没有额外验证数据的情况下鲁棒地扩展标签。
• 提供一个经验性的标签所需下界 eta 的估计，通过 (d_hat)^{tau} * eta ~ n 来衡量标签需求。

实验结果

研究问题

• RQ1 为什么图卷积网络在半监督学习中表现出色？
• RQ2 浅层与深层架构（例如过平滑、标签传播）在本质上有哪些局限？
• RQ3 我们能否设计训练策略来缓解这些局限并减少或消除对有标签验证数据的需求？
• RQ4 与随机游走的共训练和自训练是否在极少标签下提升 GCN 性能，Union/Intersection 策略相比如何？
• RQ5 在标准图基准（Cora、CiteSeer、PubMed）上以小标记率，这些方法的表现如何？

主要发现

• GCN 卷积作为拉普拉斯平滑的一种形式，解释了 GCN 如何混合邻居信息以简化分类。
• 过平滑在层数过多时发生，导致相邻组件的特征变得不可区分；非常深的 GCN 难以训练。
• 在评估的深层变体中，两层 GCN 常常提供最佳的实际性能。
• 与随机游走模型（ParWalks）的共训练通过全局图结构扩展标记集，在没有额外验证数据的情况下提升 GCN 的训练效果。
• 自训练通过添加高置信度的 GCN 预测来增加标记数据，在图结构有限时提高鲁棒性。
• 标签扩展的联盟和交集策略通常提升性能，联盟提供最广泛的增益，而交集筛选可能去除不必要的标签。