[论文解读] $l_{2,p}$ Matrix Norm and Its Application in Feature Selection

Liping Wang, Songcan Chen|arXiv (Cornell University)|Mar 16, 2013

Sparse and Compressive Sensing Techniques参考文献 18被引用 22

一句话总结

本文提出了一种广义的非凸 $l_{2,p}$ 矩阵伪范数用于特征选择，将 $l_{2,1}$-范数正则化推广至 $p \in (0,1)$ 的情形，并提出一种统一且收敛的算法，能够高效求解所有 $p \in (0,1]$ 的优化问题，包括凸（$p=1$）与非凸（$0<p<1$）情况。在基因表达数据上的实验表明，$p=0.5$ 在稀疏性和分类准确率方面均优于 $p=1$，验证了该方法在提升特征选择性能方面的有效性。

ABSTRACT

Recently, $l_{2,1}$ matrix norm has been widely applied to many areas such as computer vision, pattern recognition, biological study and etc. As an extension of $l_1$ vector norm, the mixed $l_{2,1}$ matrix norm is often used to find jointly sparse solutions. Moreover, an efficient iterative algorithm has been designed to solve $l_{2,1}$-norm involved minimizations. Actually, computational studies have showed that $l_p$-regularization ($0

研究动机与目标

• 将 $l_{2,1}$-范数正则化推广至非凸 $l_{2,p}$-范数，以在特征选择中实现更优的稀疏性。
• 开发一种统一算法，高效求解所有 $p \in (0,1]$ 下的 $l_{2,p}$-范数优化问题，涵盖凸与非凸情形。
• 证明所提算法在所有 $p \in (0,1]$ 下的统一收敛性，克服了以往方法在凸与非凸区域需分别设计求解器的局限。
• 通过实证验证，$p \in (0,1)$（特别是 $p=0.5$）在真实生物数据中可提升稀疏性与分类准确率，优于 $p=1$。

提出的方法

• 提出一种混合 $l_{2,p}$ 矩阵伪范数，作为 $l_{2,1}$-范数向非凸 $p \in (0,1)$ 情况的推广，定义为：对于行向量为 $y_i$ 的矩阵 $Y$，有 $\|Y\|_{2,p}^p = \sum_{i=1}^m \|y_i\|_2^p$。
• 设计一种统一的迭代算法，无需分别采用优化策略，即可同时处理凸（$p=1$）与非凸（$0<p<1$）情形。
• 采用类似邻近点的更新策略，每一步均具有闭式解，确保计算效率与收敛性。
• 通过理论分析，证明该算法在所有 $p \in (0,1]$ 下具有统一收敛性，包括 $0<p<1$ 时的非利普希茨与非凸情形。
• 将该算法应用于 $l_{2,p}$-正则化最小二乘问题的特征选择，目标函数为 $\|X - YB\|_F^2 + \alpha \|Y\|_{2,p}^p$。
• 在实验中采用 $p=0.25, 0.5, 0.75, 1$，并通过五折交叉验证结合支持向量机分类器，在四个基因表达数据集上评估性能。

实验结果

研究问题

• RQ1 在特征选择任务中，$l_{2,p}$-范数（$p \in (0,1)$）是否能提供比标准 $l_{2,1}$-范数更优的稀疏性？
• RQ2 能否设计一种单一的统一算法，高效求解 $l_{2,p}$-范数优化问题，覆盖凸（$p=1$）与非凸（$0<p<1$）两种情形？
• RQ3 所提算法是否对所有 $p \in (0,1]$（包括 $0<p<1$ 时的非凸与非利普希茨情形）均保持收敛性保证？
• RQ4 在真实生物数据集中，$p$ 的选择如何影响所选特征的分类准确率与稀疏性？

主要发现

• $l_{2,p}$-范数在 $p=0.5$ 时，平均分类误差最低，特征选择性能优于 $p=1$。
• 在 ALLAML 数据集中，$p=0.5$ 在使用 20 个特征时分类误差为 4.0%，优于 $p=1$ 的 5.43%，表明在更稀疏的特征下仍保持更高准确率。
• 在 LUNG 数据集中，$p=0.5$ 将误差从 $p=1$ 时的 2.95% 降低至 1.98%（使用 20 个特征），显示出一致的性能提升。
• 统一算法在所有 $p$ 值下均在约 20 次迭代内收敛，且在各数据集上表现出一致的收敛速度与目标函数下降趋势。
• $p=0.5$ 的平均分类误差为 3.0675%（使用 40 个特征）与 3.1625%（使用 80 个特征），在所有情况下均优于 $p=1$。
• 实证结果表明，$p=0.5$ 产生的稀疏模式优于 $p=1$，证实非凸 $l_{2,p}$-范数可有效提升特征选择质量。