[论文解读] Feature Selection with Annealing for Big Data Learning

Adrian Barbu, Yiyuan She+2 more|arXiv (Cornell University)|Oct 10, 2013

Face and Expression Recognition被引用 5

一句话总结

本文提出了一种基于退火的特征选择方法，通过准则和调度迭代移除变量，实现在大规模数据上的高效、可扩展学习。通过逐步收紧稀疏性约束并将变量筛选整合到估计过程中，该方法确保了收敛性、选择一致性，并在回归、分类和排序任务中表现出色，计算开销极低。

ABSTRACT

Abstract—Many computer vision and medical imaging problems are faced with learning from large-scale datasets, with millions of observa-tions and features. In this paper we propose a novel efficient learning scheme which tightens a sparsity constraint by gradually removing variables based on a criterion and a schedule. The attractive fact that the problem size keeps dropping throughout the iterations makes it particu-larly suitable for big data learning. Our approach applies generically to the optimization of any differentiable loss function, and finds applications in regression, classification and ranking. The resultant algorithms build variable screening into estimation and are extremely simple to imple-ment. We provide theoretical guarantees of convergence and selection consistency. In addition, one dimensional piecewise linear response functions are used to account for nonlinearity and a second order prior is imposed on these functions to avoid overfitting. Experiments on real and synthetic data show that the proposed method compares very well with other state of the art methods in regression, classification and ranking while being computationally very efficient and scalable. Index Terms—feature selection, supervised learning, regression, clas-sification, ranking. 1

研究动机与目标

• 为解决从包含数百万个特征和观测值的大规模数据集中学习的挑战。
• 开发一种适用于计算机视觉和医学影像等大数据应用的可扩展且高效的特征选择方法。
• 在高维学习中确保收敛性和选择一致性的理论保证。
• 将变量筛选直接整合到估计过程中，以提升模型效率。
• 使用分段线性响应函数处理非线性关系，同时通过二阶先验防止过拟合。

提出的方法

• 该方法采用退火调度，通过基于选择准则逐步移除变量，逐渐收紧稀疏性约束。
• 适用于任何可微损失函数，支持回归、分类和排序任务。
• 变量筛选被内置于优化过程中，无需额外的选择步骤。
• 分段线性响应函数用于建模数据中的非线性关系，提升灵活性。
• 在分段线性函数上施加二阶先验，以正则化并防止过拟合。
• 迭代过程在每一步减少问题规模，从而提高计算效率和可扩展性。

实验结果

研究问题

• RQ1 如何使特征选择在具有数百万个特征和观测值的大数据中实现可扩展性和高效性？
• RQ2 在高维设置下，稀疏性约束优化方法能否同时实现收敛性和选择一致性？
• RQ3 将变量筛选整合到估计过程中，与顺序方法相比，如何提升性能和效率？
• RQ4 分段线性函数结合二阶先验在多大程度上能有效建模非线性关系，同时避免过拟合？
• RQ5 所提出的基于退火的方法在回归、分类和排序任务中与最先进方法相比表现如何？

主要发现

• 所提出的方法在回归、分类和排序任务中表现强劲，性能可与最先进方法相媲美。
• 由于迭代过程中问题规模逐步减小，该方法展现出高度的计算效率和可扩展性。
• 在所提出的框架下，建立了收敛性和选择一致性的理论保证。
• 使用带二阶先验的分段线性响应函数能有效建模非线性关系，同时控制过拟合。
• 在真实和合成数据上的实验验证了该方法在多样化学习任务中的鲁棒性和高效性。
• 将特征选择集成到估计过程中简化了实现，并提升了计算性能。