[论文解读] From Cluster Assumption to Graph Convolution: Graph-based Semi-Supervised Learning Revisited

Zheng Wang, Hongming Ding+4 more|arXiv (Cornell University)|Sep 24, 2023

Advanced Graph Neural NetworksComputer Science被引用 3

一句话总结

本文通过在一个统一的优化框架下整合传统的基于聚类假设的方法与现代图卷积网络（GCNs），重新审视了基于图的半监督学习。研究发现，标准GCN在每一层可能并未联合最小化标签损失与图结构损失，从而导致性能次优。为解决此问题，作者提出了三种新型图卷积方法——OGC（有监督）、GGC与GGCM（无监督），通过引入新型算子（SEB与IGC）显式保留标签信息与结构信息，实现了最先进的性能，并提升了对过平滑现象的鲁棒性。

ABSTRACT

Graph-based semi-supervised learning (GSSL) has long been a hot research topic. Traditional methods are generally shallow learners, based on the cluster assumption. Recently, graph convolutional networks (GCNs) have become the predominant techniques for their promising performance. In this paper, we theoretically discuss the relationship between these two types of methods in a unified optimization framework. One of the most intriguing findings is that, unlike traditional ones, typical GCNs may not jointly consider the graph structure and label information at each layer. Motivated by this, we further propose three simple but powerful graph convolution methods. The first is a supervised method OGC which guides the graph convolution process with labels. The others are two unsupervised methods: GGC and its multi-scale version GGCM, both aiming to preserve the graph structure information during the convolution process. Finally, we conduct extensive experiments to show the effectiveness of our methods. Code is available at https://github.com/zhengwang100/ogc_ggcm.

研究动机与目标

• 在统一的优化框架内，理论分析基于传统聚类假设的GSSL与现代GCNs之间的关系。
• 识别标准GCNs的关键局限：在每一层未能联合最小化标签损失与图结构损失。
• 设计简单但有效的图卷积方法，显式保留特征传播过程中的标签信息与图结构。
• 提出可插入的算子（SEB与IGC），可集成至现有GCN模型中，以缓解过平滑并提升泛化能力。
• 通过多个基准数据集的实证验证，证明所提方法的有效性，其性能优于当前最先进GCN变体。

提出的方法

• 提出一个统一的GSSL优化框架，结合监督分类损失与无监督拉普拉斯平滑损失。
• 在OGC中引入监督嵌入块（SEB）算子，实现在图卷积过程中联合最小化分类损失与平滑损失。
• 设计逆图卷积（IGC）算子，以保留未连接节点之间的差异性，从而对抗过平滑。
• 通过将标准图卷积与IGC结合，开发出GGC及其多尺度变体GGCM，以在嵌入空间中保持原始图结构。
• 采用双流聚合机制：一者用于标签感知的特征传播（通过SEB），另一者用于结构保持（通过IGC）。
• 采用端到端训练与反向传播，其中为分类与平滑目标分别计算梯度，实现联合优化。

(c) Graph convolution + IGC

实验结果

研究问题

• RQ1 传统GSSL方法与现代GCNs在标签与图结构方面的优化动态有何不同？
• RQ2 为何标准GCNs尽管具有深层结构，仍会遭受过平滑，而浅层GSSL方法则不会？
• RQ3 能否通过统一的优化框架调和基于聚类假设的方法与GCNs的优势？
• RQ4 引入监督嵌入块（SEB）是否能在不增加模型复杂度的前提下提升GCNs中的标签传播性能？
• RQ5 逆图卷积（IGC）算子是否能有效保留结构差异性，并缓解GCNs中的过平滑问题？

主要发现

• 标准GCNs在每一层并未联合最小化分类损失与拉普拉斯平滑损失，这解释了其对过平滑的敏感性。
• 所提出的OGC方法在引文网络（Cora、PubMed、Citeseer）上达到SOTA性能，准确率较GCN、GAT与GCNII最高提升2.1%。
• GGC与GGCM显著提升了图结构的保持能力，其中GGCM在异质性图上较SGC与S2GC的F1得分高出1.8%。
• IGC算子起到高通滤波器的作用，有效维持未连接节点间的结构差异性，这对异质性场景至关重要。
• SEB与IGC算子作为即插即用模块效果显著：当应用于GCN与GCNII时，可减少过平滑并平均提升1.5%的准确率。
• 消融实验确认，联合优化两类损失可带来更好的泛化性能，尤其在低标签场景下表现更优。

Figure 2: Classification performance w.r.t. layer number ( $x$ -axis: layer number).