[论文解读] Correlated random features for fast semi-supervised learning

Brian McWilliams, David Balduzzi+1 more|arXiv (Cornell University)|Jun 24, 2013

Domain Adaptation and Few-Shot Learning参考文献 20被引用 25

一句话总结

本文提出相关Nyström视图（XNV），一种快速的半监督学习算法，通过使用两个随机Nyström特征视图并结合典型相关分析（CCA），提升回归与分类性能。XNV在中等规模数据集上相比先前最先进方法SSSL，准确率提高10-15%，同时训练时间减少1,000倍以上，展现出卓越的性能与可扩展性。

ABSTRACT

This paper presents Correlated Nystrom Views (XNV), a fast semi-supervised algorithm for regression and classification. The algorithm draws on two main ideas. First, it generates two views consisting of computationally inexpensive random features. Second, XNV applies multiview regression using Canonical Correlation Analysis (CCA) on unlabeled data to bias the regression towards useful features. It has been shown that, if the views contains accurate estimators, CCA regression can substantially reduce variance with a minimal increase in bias. Random views are justified by recent theoretical and empirical work showing that regression with random features closely approximates kernel regression, implying that random views can be expected to contain accurate estimators. We show that XNV consistently outperforms a state-of-the-art algorithm for semi-supervised learning: substantially improving predictive performance and reducing the variability of performance on a wide variety of real-world datasets, whilst also reducing runtime by orders of magnitude.

研究动机与目标

• 通过利用随机特征对核方法进行高效近似，解决大规模数据集上核方法的高计算成本问题。
• 通过多视图回归利用未标记数据的结构，提升半监督学习性能。
• 开发一种可扩展算法，在显著降低训练时间的同时保持高精度，优于现有方法。
• 通过实证验证，基于Nyström方法构建的随机视图满足多视图假设，从而实现有效的CCA正则化。

提出的方法

• 使用Nyström随机特征构建数据的两个独立视图，这些特征在计算上高效且可证明地准确逼近核方法。
• 对两个视图应用典型相关分析（CCA），以识别并优先选择在视图间高度相关的特征，从而降低最终模型的方差。
• 将典型相关系数范数用作线性回归中的正则化项，偏好在两个视图中均具预测能力的特征，从而提升模型鲁棒性。
• 采用均匀采样方案进行Nyström近似，以确保计算效率，同时保持出色的实证性能。
• 将CCA正则化回归与标记数据结合，生成最终预测器，实现在极少标记数据下的良好泛化能力。
• 采用随机化CCA以提升可扩展性，使该方法能高效处理大规模数据集。

实验结果

研究问题

• RQ1 随机Nyström特征能否在多视图学习框架中作为有效且计算成本低廉的视图，用于半监督学习？
• RQ2 在两个此类随机视图上应用CCA正则化是否能显著降低模型方差并提升泛化性能？
• RQ3 XNV在真实世界数据集上与最先进方法SSSL相比，在性能与速度方面表现如何？
• RQ4 在多视图设置中使用随机特征，是否能满足CCA降低方差而不增加偏差的理论条件？

主要发现

• 在18个真实世界数据集上，XNV的预测性能平均比SSSL方法高出10-15%，具体取决于标记样本数量。
• 在平均性能上，XNV将标准误差降低了约30%，表明其预测结果比SSSL更稳定、方差更小。
• 在N=10,000规模的数据集上，XNV相比原始SSSL算法将运行时间减少了1,000倍以上，且随着数据集规模增大，性能优势进一步提升。
• 基于Nyström的视图始终优于随机傅里叶特征，在不同标记集规模下平均降低24-30%的误差。
• 该方法在各类回归与分类任务中均表现出一致的性能提升，包括高维与噪声较大的数据集。
• 即使在极少数标记样本的情况下，该方法仍保持优异性能，展现出对低标签场景的强鲁棒性。