[论文解读] Joint Active Learning with Feature Selection via CUR Matrix Decomposition

Changsheng Li, Xiangfeng Wang+4 more|arXiv (Cornell University)|Mar 4, 2015

Machine Learning and Algorithms被引用 5

一句话总结

该论文提出了一种统一的、单次完成的框架，通过CUR矩阵分解实现联合主动学习与特征选择，能够在无需迭代标注的情况下，同时选择具有代表性的样本和信息量丰富的特征。通过构建具有结构化稀疏性的凸优化问题，该方法实现了全局收敛，并在基准数据集上优于最先进方法，尤其在低标签设置下表现更优。

ABSTRACT

This paper presents an unsupervised learning approach for simultaneous sample and feature selection, which is in contrast to existing works which mainly tackle these two problems separately. In fact the two tasks are often interleaved with each other: noisy and high-dimensional features will bring adverse effect on sample selection, while informative or representative samples will be beneficial to feature selection. Specifically, we propose a framework to jointly conduct active learning and feature selection based on the CUR matrix decomposition. From the data reconstruction perspective, both the selected samples and features can best approximate the original dataset respectively, such that the selected samples characterized by the features are highly representative. In particular, our method runs in one-shot without the procedure of iterative sample selection for progressive labeling. Thus, our model is especially suitable when there are few labeled samples or even in the absence of supervision, which is a particular challenge for existing methods. As the joint learning problem is NP-hard, the proposed formulation involves a convex but non-smooth optimization problem. We solve it efficiently by an iterative algorithm, and prove its global convergence. Experimental results on publicly available datasets corroborate the efficacy of our method compared with the state-of-the-art.

研究动机与目标

• 为解决现有主动学习与特征选择方法将两项任务分开处理所导致的次优结果问题。
• 开发一种统一框架，以无监督、单次方式同时选择具有代表性的样本和信息量丰富的特征。
• 克服真实机器学习应用中高维、噪声特征以及标注数据稀缺的挑战。
• 设计一种高效的优化算法，确保NP难联合选择问题的全局收敛。
• 在多种基准数据集上验证该方法在鲁棒性与优越性方面对最先进方法的超越。

提出的方法

• 该方法基于CUR矩阵分解，将联合样本与特征选择建模为正则化优化问题，通过选定的行、列和低秩核心近似原始数据矩阵。
• 引入结构化稀疏性诱导范数（l1,2 和 l2,1），以促进代表性样本与特征的选择稀疏性，提升可解释性与鲁棒性。
• 将NP难的非凸问题松弛为凸的、非光滑优化问题，通过交替方向乘子法（ADMM）算法实现高效求解。
• 基于ADMM的迭代算法确保全局收敛，并在单次遍历中高效求解联合选择问题，避免迭代标注循环。
• 框架引入样本间与特征间正则化项，以提升矩阵分解的稳定性并减少欠定性。
• 该方法设计为仅需极少或无需标注数据，适用于低监督场景。

实验结果

研究问题

• RQ1 通过CUR分解实现联合样本与特征选择，是否能优于单独或顺序处理的方法？
• RQ2 在标注数据稀缺时，对样本与特征采用单次、无监督选择策略的效果如何？
• RQ3 引入结构化稀疏性与交叉正则化是否能提升所选特征-样本子集的鲁棒性与准确性？
• RQ4 该方法对超参数α、β和λ的敏感性如何？其最优取值范围是什么？
• RQ5 所提出的凸松弛与基于ADMM的优化能否在实际中实现全局收敛与高效计算？

主要发现

• 所提出的ALFS方法在八个基准数据集上显著优于最先进方法，尤其在仅标注少量样本时表现更优。
• 在Madelon与FG-NET数据集上，仅选择少量代表性样本（如10–20%）即优于查询全部样本，证明了样本代表性选择的优势。
• 该方法对参数变化具有鲁棒性，在α、β与λ的广泛取值范围内性能稳定，但过小的值会因稀疏性强制不足而降低性能。
• CPU运行时间随收敛容忍度ε呈线性增长，表明在标准硬件上具有可预测且可扩展的运行时行为。
• 在低标签设置下，单次选择策略优于迭代方法，证实了其在标注数据极度稀缺时的优势。
• 引入样本间与特征间正则化项可提升稳定性并减少过拟合，尤其在高维设置下表现显著。