[论文解读] Active Semi-Supervised Learning Using Sampling Theory for Graph Signals

Akshay Gadde, Aamir Anis+1 more|arXiv (Cornell University)|May 16, 2014

Advanced Graph Neural Networks参考文献 28被引用 21

一句话总结

本文提出了一种基于图信号采样理论的新型图结构主动半监督学习框架，通过最大化信号带限重建的截止频率来选择最优的节点标注集。该方法采用贪心算法选择信息量丰富的节点，在USPS、20 Newsgroups和Isolet等真实世界数据集上实现了最先进性能。

ABSTRACT

We consider the problem of offline, pool-based active semi-supervised learning on graphs. This problem is important when the labeled data is scarce and expensive whereas unlabeled data is easily available. The data points are represented by the vertices of an undirected graph with the similarity between them captured by the edge weights. Given a target number of nodes to label, the goal is to choose those nodes that are most informative and then predict the unknown labels. We propose a novel framework for this problem based on our recent results on sampling theory for graph signals. A graph signal is a real-valued function defined on each node of the graph. A notion of frequency for such signals can be defined using the spectrum of the graph Laplacian matrix. The sampling theory for graph signals aims to extend the traditional Nyquist-Shannon sampling theory by allowing us to identify the class of graph signals that can be reconstructed from their values on a subset of vertices. This approach allows us to define a criterion for active learning based on sampling set selection which aims at maximizing the frequency of the signals that can be reconstructed from their samples on the set. Experiments show the effectiveness of our method.

研究动机与目标

• 通过为图结构数据开发高效的主动学习策略，解决机器学习中标签数据有限的挑战。
• 通过利用图信号的采样理论，克服现有基于图的半监督学习方法在可扩展性与重建保证方面的不足。
• 提供一种原理清晰、高效且可扩展的框架，用于在无先验标签信息的前提下，以批量方式选择具有信息量的节点进行标注。
• 通过确保信号可从所选样本唯一重建（基于带限插值），实现高精度的半监督分类。

提出的方法

• 将数据建模为图结构，其中节点表示数据点，边权重编码特征相似性，类别归属作为图信号。
• 利用图拉普拉斯矩阵的谱定义图信号的频率概念，从而实现带限信号建模。
• 将主动学习建模为采样集选择问题，以最大化截止频率，确保最大类别的信号可被唯一重建。
• 实现一种贪心算法，通过迭代选择使采样矩阵的最小特征值最大化，从而近似最优截止频率。
• 采用带限插值进行半监督学习：通过投影到带限信号空间来重建未知标签。
• 通过K近邻方法进行图的稀疏化，以在保持信号结构的同时维持计算效率。

实验结果

研究问题

• RQ1 在缺乏先验标签信息的图结构主动半监督学习设置下，如何选择最具信息量的节点进行标注？
• RQ2 从图结构数据中采样节点进行信号重建，其理论保证是什么？
• RQ3 最大化信号谱的截止频率是否能带来更好的泛化性能与更低的预测误差？
• RQ4 所提方法在真实世界图结构数据集上的性能与最先进主动学习基线相比如何？
• RQ5 用于估计截止频率的参数 $ k $ 对不同数据分布下的分类准确率有何影响？

主要发现

• 在USPS、20 Newsgroups和Isolet数据集上，所提方法在分类准确率方面优于现有主动学习基线方法。
• 在20 Newsgroups数据集上，$ k $ 值越大（用于截止频率估计），性能越优，表明信号中的高频能量从更紧密的估计中获益。
• 对于USPS和Isolet数据集，不同 $ k $ 值下的分类准确率保持稳定，表明类别归属信号主要为低频，且可通过较宽松的截止频率估计充分捕捉。
• 即使仅使用2%的标签数据，该方法仍表现出强劲性能，证明其在低数据场景下的高效性。
• 该框架为从采样节点重建信号提供了理论基础，确保在带限假设下重建的唯一性与稳定性。
• 实验结果证实，贪心采样策略能有效选择代表数据流形且捕获显著信号能量的节点。