[论文解读] Efficient Sparse Group Feature Selection via Nonconvex Optimization

Shuo Xiang, Shen, Xiaotong+1 more|arXiv (Cornell University)|May 23, 2012

Sparse and Compressive Sensing Techniques参考文献 32被引用 46

一句话总结

该论文提出了一种基于截断L1-惩罚的非凸稀疏组特征选择方法，通过DC规划与高效优化，相较于凸方法在特征选择与组结构恢复的准确性上均有提升。该方法在合成数据与真实世界EEG数据上均表现出优越的性能，优于Lasso、组Lasso及稀疏组Lasso在组结构恢复与分类准确率方面的表现。

ABSTRACT

Sparse feature selection has been demonstrated to be effective in handling high-dimensional data. While promising, most of the existing works use convex methods, which may be suboptimal in terms of the accuracy of feature selection and parameter estimation. In this paper, we expand a nonconvex paradigm to sparse group feature selection, which is motivated by applications that require identifying the underlying group structure and performing feature selection simultaneously. The main contributions of this article are twofold: (1) statistically, we introduce a nonconvex sparse group feature selection model which can reconstruct the oracle estimator. Therefore, consistent feature selection and parameter estimation can be achieved; (2) computationally, we propose an efficient algorithm that is applicable to large-scale problems. Numerical results suggest that the proposed nonconvex method compares favorably against its competitors on synthetic data and real-world applications, thus achieving desired goal of delivering high performance.

研究动机与目标

• 为解决凸稀疏组特征选择方法在特征选择准确率与参数估计方面存在的次优性问题。
• 构建一种非凸优化框架，以更优逼近理想的L0约束模型，实现联合特征与组稀疏性。
• 通过重构Oracle估计器，确保特征选择与参数估计的理论一致性。
• 设计一种高效、可扩展的算法，适用于大规模问题，结合DC规划与加速梯度方法。

提出的方法

• 采用截断L1惩罚函数 $ J_\tau(z) = \min(|z|/\tau, 1) $ 构建约束非凸优化问题，以逼近L0范数。
• 应用差为凸（DC）规划，将非凸约束分解为两个凸函数之差：$ S_1(\bm{x}) - S_2(\bm{x}) $。
• 在每次迭代中，用前一迭代点处非凸项 $ S_2(\bm{x}) $ 的仿射下界近似替代，从而生成一个凸子问题。
• 利用加速梯度法求解所得凸子问题，并结合高效的组结构稀疏性约束投影。
• 通过支持集 $ T_1, T_2, T_3 $ 动态识别每次迭代中的活跃特征与组，优化稀疏模式。
• 采用留一法交叉验证与五折交叉验证，调优参数 $ s_1, s_2, \tau $，以确保最优性能。

实验结果

研究问题

• RQ1 非凸稀疏组特征选择的公式能否实现与Oracle估计器相当的一致性特征选择与参数估计？
• RQ2 所提出的非凸方法在估计与预测准确率方面是否优于Lasso、组Lasso与稀疏组Lasso等凸替代方法？
• RQ3 基于DC规划的算法能否高效求解大规模稀疏组特征选择问题，同时保持理论保证？
• RQ4 在具有已知组结构的高维数据中，该方法在恢复真实底层组结构方面表现如何？

主要发现

• 在合成数据上，所提方法实现了最低的估计误差（4.6617）与预测误差（142.18），显著优于Lasso、组Lasso与稀疏组Lasso。
• 该方法组精确度达0.7848，远高于Lasso（0.5212）、组Lasso（0.5843）与稀疏组Lasso（0.5215），表明其在恢复真实组结构方面表现更优。
• 在EEG数据上，该方法仅选择25个组即实现68.0%的分类准确率，优于Lasso（67.0%）、组Lasso（62.5%）与稀疏组Lasso（65.5%）在准确率与稀疏性方面的表现。
• 尽管Lasso在更少特征（2068个）下达到相似准确率，但其选择了全部64个组，未能利用组结构；而所提方法仅选择25个组，有效利用了组结构。
• 该方法展现出良好的鲁棒性与可扩展性，能有效处理大规模数据（16,384维EEG数据，含64个每组256个特征的组）。
• 理论分析表明，该方法可重构Oracle估计器，从而在所提出的非凸框架下确保一致的特征选择与参数估计。