[论文解读] Label Efficient Semi-Supervised Learning via Graph Filtering

Qimai Li, Xiao-Ming Wu+3 more|arXiv (Cornell University)|Jan 28, 2019

Advanced Graph Neural Networks参考文献 72被引用 20

一句话总结

本文提出了一种用于标签高效半监督学习的图滤波框架，通过将数据特征视为图上的信号，并应用低通图滤波器来平滑和增强表征，从而统一了标签传播与图卷积网络（GCNs）。该方法通过广义标签传播（GLP）和可调节滤波强度的改进GCN（IGCN），在参数显著减少且推理速度更快的情况下，尤其在低标签设置下实现了最先进性能。

ABSTRACT

Graph-based methods have been demonstrated as one of the most effective approaches for semi-supervised learning, as they can exploit the connectivity patterns between labeled and unlabeled data samples to improve learning performance. However, existing graph-based methods either are limited in their ability to jointly model graph structures and data features, such as the classical label propagation methods, or require a considerable amount of labeled data for training and validation due to high model complexity, such as the recent neural-network-based methods. In this paper, we address label efficient semi-supervised learning from a graph filtering perspective. Specifically, we propose a graph filtering framework that injects graph similarity into data features by taking them as signals on the graph and applying a low-pass graph filter to extract useful data representations for classification, where label efficiency can be achieved by conveniently adjusting the strength of the graph filter. Interestingly, this framework unifies two seemingly very different methods -- label propagation and graph convolutional networks. Revisiting them under the graph filtering framework leads to new insights that improve their modeling capabilities and reduce model complexity. Experiments on various semi-supervised classification tasks on four citation networks and one knowledge graph and one semi-supervised regression task for zero-shot image recognition validate our findings and proposals.

研究动机与目标

• 解决现有基于图的半监督学习方法的局限性，即要么忽略数据特征（如经典标签传播），要么因模型复杂度过高而需要大量标注数据集（如深层GCNs）。
• 开发一种标签高效的学习框架，通过将图结构和数据特征建模为图上的信号，并应用低通滤波，从而同时利用两者。
• 从单一图滤波视角统一经典标签传播与现代GCNs，提供新见解并改进模型设计。
• 通过参数高效的滤波器设计和灵活的滤波强度控制，降低模型复杂度并防止在低标签设置下的过拟合。

提出的方法

• 将数据特征视为图上的信号，并应用低通图滤波器来平滑并提取用于分类的代表性特征。
• 通过将标签传播扩展为以数据特征矩阵作为输入信号、任意低通图滤波器和任意分类器，提出广义标签传播（GLP）。
• 重新解释GCN为通过谱滤波的一阶近似实现拉普拉斯平滑，揭示了重归一化技巧和参数设置的作用。
• 引入一种改进的GCN（IGCN），其滤波器中引入指数参数以控制强度，减少可训练参数并提升在标签稀缺情况下的泛化能力。
• 利用图滤波将结构相似性注入数据特征，实现在极少标注数据下的有效表征学习。
• 采用灵活的框架，使滤波强度可调，以在归纳偏差与模型容量之间取得平衡，从而增强标签效率。

实验结果

研究问题

• RQ1 如何在统一的理论框架下整合图结构和数据特征，实现基于图的半监督学习？
• RQ2 经典标签传播与现代GCNs能否被重新解释为图滤波的实例？这一视角能带来哪些新见解？
• RQ3 如何控制滤波强度以在低监督设置下实现标签效率？
• RQ4 统一框架能否在降低模型复杂度和过拟合的同时，提升数据稀缺环境下的性能？

主要发现

• 所提出的图滤波框架统一了标签传播与GCNs，揭示了两者均可被解释为在图上对数据信号进行低通滤波。
• 广义标签传播（GLP）在引文网络和零样本图像识别任务中达到最先进性能，优于GCNZ和DGPM等方法。
• 具有可调指数参数的IGCN减少了可训练参数并防止过拟合，在小样本标签数据集上表现更优。
• 在GCNZ中用两层IGCN和GLP替代原有的六层GCN，准确率从68%提升至约73%，证明了其卓越的效率与性能。
• GLP的运行速度比GCNZ快数百倍，比其他基线快十余倍，凸显其计算效率。
• 在零样本回归任务中，较小的滤波指数（如k=2）表现更优，表明保留特征多样性至关重要。