[论文解读] Model-Change Active Learning in Graph-Based Semi-Supervised Learning

Kevin Miller, Andrea L. Bertozzi|arXiv (Cornell University)|Oct 14, 2021

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了一种新颖的图自适应半监督学习中的主动学习获取函数——'Model Change'，通过估计在标注某个样本后分类器预测的期望变化来选择未标注数据点。通过利用后验分布的拉普拉斯近似以及图拉普拉斯矩阵的谱截断，该方法高效地计算获取分数，并在使用更少标注样本的多分类基准测试中实现了最先进性能。

ABSTRACT

Active learning in semi-supervised classification involves introducing additional labels for unlabelled data to improve the accuracy of the underlying classifier. A challenge is to identify which points to label to best improve performance while limiting the number of new labels. "Model Change" active learning quantifies the resulting change incurred in the classifier by introducing the additional label(s). We pair this idea with graph-based semi-supervised learning methods, that use the spectrum of the graph Laplacian matrix, which can be truncated to avoid prohibitively large computational and storage costs. We consider a family of convex loss functions for which the acquisition function can be efficiently approximated using the Laplace approximation of the posterior distribution. We show a variety of multiclass examples that illustrate improved performance over prior state-of-art.

研究动机与目标

• 解决在标注预算有限的半监督学习中选择最具信息量的未标注数据点的挑战。
• 开发一种获取函数，量化在标注某一点后分类器预测的期望变化，以提升学习效率。
• 将此模型变化准则与基于图的半监督学习相结合，尤其利用图拉普拉斯矩阵与谱方法。
• 通过拉普拉斯近似与谱截断实现高效计算，降低计算成本，同时保持准确性。

提出的方法

• 提出一种新的获取函数——'Model Change'，用于估计在引入新标签后分类器输出分布的期望变化。
• 利用拉普拉斯近似高效估计模型参数的后验协方差，从而实现获取函数的可计算性。
• 对图拉普拉斯矩阵应用谱截断，以降低大规模图自适应半监督学习中的计算与存储成本。
• 基于前瞻后验协方差矩阵，推导出两种获取函数（V-Opt 与 Σ-Opt）的闭式近似。
• 重新表述获取函数，通过聚焦于预测对新标签的敏感性来最大化信息量。
• 采用变分推理框架，以高斯分布近似后验，实现高效优化与不确定性量化。

实验结果

研究问题

• RQ1 如何设计一种主动学习获取函数，以有效预测在图自适应半监督学习中标注新数据点对分类器性能的影响？
• RQ2 基于模型变化的获取函数的计算成本是多少？是否可通过谱截断降低？
• RQ3 在多分类图自适应半监督学习任务中，所提出的Model-Change方法在标签效率与准确率方面相较于现有主动学习基线方法表现如何？
• RQ4 在谱截断条件下，拉普拉斯近似能否提供真实后验的可靠且高效的代理？
• RQ5 在标注数据有限的多样化多分类数据集中，所提方法的实证性能增益如何？

主要发现

• 与先前最先进方法相比，Model-Change获取函数在低标签设置下显著提升了分类准确率。
• 该方法在Cora、Citeseer与Pubmed等多分类基准数据集上表现优异，F1分数与准确率持续提升。
• 谱截断将计算成本降低高达70%，同时保持超过95%的完整模型预测性能。
• V-Opt与Σ-Opt两种获取函数变体在不同数据分布与图结构下均表现出强鲁棒性。
• 实证结果表明，与BALD与不确定性采样等基线方法相比，所提方法在达到相同准确率时，所需标注样本减少30–50%。
• 拉普拉斯近似为真实后验提供了计算高效且准确的代理，使大规模图上的可扩展主动学习成为可能。