[论文解读] Safe Feature Elimination in Sparse Supervised Learning

Laurent El Ghaoui, Vivian Viallon+1 more|arXiv (Cornell University)|Sep 17, 2010

Machine Learning and Algorithms参考文献 20被引用 177

一句话总结

本文提出了一种针对带凸损失和l1-正则化的稀疏监督学习的可证明安全的特征消除方法。通过识别并移除在最终解中保证为零的特征，该方法在优化前大幅降低维度——实现线性时间复杂度，使现有求解器能够处理更大规模的数据集，尤其在稀疏模型的文本分类任务中效果显著。

ABSTRACT

We investigate fast methods that allow to quickly eliminate variables (features) in supervised learning problems involving a convex loss function and a $l_1$-norm penalty, leading to a potentially substantial reduction in the number of variables prior to running the supervised learning algorithm. The methods are not heuristic: they only eliminate features that are {\em guaranteed} to be absent after solving the learning problem. Our framework applies to a large class of problems, including support vector machine classification, logistic regression and least-squares. The complexity of the feature elimination step is negligible compared to the typical computational effort involved in the sparse supervised learning problem: it grows linearly with the number of features times the number of examples, with much better count if data is sparse. We apply our method to data sets arising in text classification and observe a dramatic reduction of the dimensionality, hence in computational effort required to solve the learning problem, especially when very sparse classifiers are sought. Our method allows to immediately extend the scope of existing algorithms, allowing us to run them on data sets of sizes that were out of their reach before.

研究动机与目标

• 开发一种快速、非启发式的特征消除方法，用于识别稀疏监督学习问题解中保证为零的特征。
• 通过在运行标准求解器前消除无关特征，降低大规模学习任务的计算成本。
• 通过优化前的降维，扩展现有稀疏学习算法在更大数据集上的适用性。
• 通过实现与特征数和样本数呈线性复杂度，确保方法在效率和可扩展性方面表现优异，尤其适用于稀疏数据。

提出的方法

• 该方法利用对偶性和最优性条件，识别在最终l1-正则化解中可证明为零的特征。
• 采用基于对偶的判别准则，检查对偶解是否意味着某个特征的系数为零。
• 消除步骤的时间复杂度为O(n * d)，其中n为样本数，d为特征数，随数据规模线性增长。
• 该方法适用于广泛的问题类别，包括最小二乘、逻辑回归和带l1-正则化的支持向量机。
• 利用数据稀疏性进一步降低计算成本，使其在高维稀疏数据集中尤为高效。

实验结果

研究问题

• RQ1 我们能否在不求解完整优化问题的前提下，识别并消除稀疏监督学习问题解中保证为零的特征？
• RQ2 如何设计一种计算高效的、可证明安全的特征消除方法，使其计算复杂度随数据规模线性增长？
• RQ3 可证明安全的特征消除在运行标准求解器前，能在多大程度上降低大规模稀疏数据集的维度？
• RQ4 该方法能否统一应用于不同凸损失函数与l1-正则化的问题，如逻辑回归和SVM？

主要发现

• 所提出的特征消除方法在寻求极稀疏分类器时，实现了维度的显著降低。
• 与主优化过程相比，消除步骤的计算开销可忽略不计，其复杂度随特征数和样本数线性增长。
• 该方法适用于广泛的问题类别，包括最小二乘、逻辑回归和带l1-正则化的支持向量机。
• 该方法使现有求解器能够处理此前因计算限制而无法处理的数据集。
• 该方法在稀疏数据（如文本分类数据集）上尤为有效，其中稀疏性进一步放大了效率增益。