[论文解读] Direct l_(2,p)-Norm Learning for Feature Selection

Hanyang Peng, Yong Fan|arXiv (Cornell University)|Apr 2, 2015

Sparse and Compressive Sensing Techniques参考文献 16被引用 4

一句话总结

该论文提出了一种直接的 l₂,p-范数学习方法用于特征选择，通过在数据拟合约束下最小化 l₂,p-范数（0 < p < 1），同时优化稀疏性和分类性能。该方法引入了一种迭代算法，通过求解一系列光滑、凸的子问题实现收敛，相较于最先进方法，在基准数据集上实现了具有竞争力的特征选择性能。

ABSTRACT

In this paper, we propose a novel sparse learning based feature selection method that directly optimizes a large margin linear classification model sparsity with l_(2,p)-norm (0 &lt; p &lt; 1)subject to data-fitting constraints, rather than using the sparsity as a regularization term. To solve the direct sparsity optimization problem that is non-smooth and non-convex when 0

研究动机与目标

• 开发一种直接通过非凸 l₂,p-范数（0 < p < 1）优化稀疏性的特征选择方法，而非依赖正则化。
• 通过一种具有收敛性保证的高效迭代算法，解决 l₂,p-范数优化的非光滑性和非凸性问题。
• 通过同时施加稀疏性和数据拟合约束，提升分类性能。
• 在公开数据集上与现有最先进方法相比，展示具有竞争力的特征选择性能。
• 提供一个理论基础坚实的迭代优化框架，将非凸问题转化为一系列光滑、凸的子问题。

提出的方法

• 该方法直接最小化分类器权重的 l₂,p-范数（0 < p < 1）以诱导稀疏性，而非将其作为正则化项使用。
• 它将特征选择问题表述为一个受数据拟合约束的非凸、非光滑优化问题。
• 在每次迭代中，算法使用光滑近似替代非光滑的 l₂,p-范数，将问题转化为凸子问题。
• 该算法采用迭代重加权最小二乘法（IRLS）高效求解平滑后的子问题。
• 通过证明目标函数单调递减且收敛至驻点，理论证明了算法的收敛性。
• 该方法应用于大间隔线性分类，确保良好的泛化能力的同时促进特征稀疏性。

实验结果

研究问题

• RQ1 直接优化 l₂,p-范数（0 < p < 1）是否能比基于正则化的方法带来更好的特征选择效果？
• RQ2 能否为特征选择中的非凸、非光滑 l₂,p-范数优化设计一种收敛的迭代算法？
• RQ3 在基准数据集上，所提方法与最先进特征选择算法相比性能如何？
• RQ4 直接稀疏性优化方法是否在降低特征维度的同时保持或提升分类准确率？
• RQ5 该算法能否高效处理 l₂,p-范数的非凸性和非光滑性，以适用于实际机器学习应用？

主要发现

• 所提算法在公开可用数据集上的特征选择性能与最先进方法相当。
• 迭代算法收敛至驻点，为优化过程提供了理论保证。
• 通过直接优化 l₂,p-范数，该方法相比 l₁-正则化方法获得了更稀疏的解，提升了特征选择的准确性。
• 该方法在显著减少所选特征数量的同时，保持了较高的分类准确率。
• 该算法在多个基准数据集上表现出鲁棒性和高效性，在稀疏性和准确性方面优于或匹配现有方法。
• 在每次迭代中使用光滑、凸的子问题，实现了对非凸 l₂,p-范数目标的稳定且高效的优化。