[论文解读] A novel sparsity and clustering regularization

Xiangrong Zeng, Mário A. T. Figueiredo|arXiv (Cornell University)|Oct 18, 2013

Sparse and Compressive Sensing Techniques参考文献 11被引用 4

一句话总结

本文提出SPARC，一种新型正则化方法，可在强制K稀疏解的同时，对非零系数进行聚类使其具有相等的绝对值，从而避免不必要的收缩。通过将K稀疏约束与仅作用于最大K个分量的ℓ∞-基成对惩罚相结合，SPARC在回归和分类任务中相比LASSO、弹性网络和OSCAR展现出更优的性能和更精确的特征分组。

ABSTRACT

We propose a novel SPARsity and Clustering (SPARC) regularizer, which is a modified version of the previous octagonal shrinkage and clustering algorithm for regression (OSCAR), where, the proposed regularizer consists of a $K$-sparse constraint and a pair-wise $\ell_{\infty}$ norm restricted on the $K$ largest components in magnitude. The proposed regularizer is able to separably enforce $K$-sparsity and encourage the non-zeros to be equal in magnitude. Moreover, it can accurately group the features without shrinking their magnitude. In fact, SPARC is closely related to OSCAR, so that the proximity operator of the former can be efficiently computed based on that of the latter, allowing using proximal splitting algorithms to solve problems with SPARC regularization. Experiments on synthetic data and with benchmark breast cancer data show that SPARC is a competitive group-sparsity inducing regularizer for regression and classification.

研究动机与目标

• 解决现有组稀疏正则化方法（如OSCAR）可能对小的非零系数造成收缩、对大的系数过度惩罚的局限性。
• 开发一种正则化方法，能独立强制实现K稀疏性与非零系数的等幅聚类，同时避免对其数值进行收缩。
• 通过基于现有OSCAR算法的邻近算子计算，实现高效优化。
• 在合成数据与真实世界数据上均展示出优越性能，尤其在特征选择与分类准确率方面。

提出的方法

• 提出SPARC作为改进型正则化方法：结合K稀疏约束与仅作用于绝对值最大的K个分量的成对ℓ∞范数。
• 将正则化定义为 φSPARC = ιΣK(x) + λ∑_{i<j∈ΩK(x)} max{|xi|, |xj|}，其中 ΩK(x) 表示绝对值最大的K个分量的索引集合。
• 利用OSCAR的邻近算子（λ1=0）高效计算SPARC的邻近算子：proxφSPARC(v) = [proxφOSCAR(0,λ)(vΩK(v)), 0]，作用于补集部分。
• 使用如SpaRSA等邻近分裂算法求解SPARC正则化问题，并基于Barzilai-Borwein方法自适应选择步长。
• 将该算法应用于合成数据与真实世界乳腺癌基因表达数据进行评估。
• 通过外层循环的接受准则确保优化过程保持目标函数递减。

实验结果

研究问题

• RQ1 能否设计一种正则化方法，以强制实现K稀疏解，同时促进非零系数之间的等幅聚类？
• RQ2 将ℓ∞-基聚类惩罚限制在最大K个分量上，是否能相比OSCAR提升特征分组的准确性？
• RQ3 能否利用现有OSCAR求解器高效计算新正则化方法的邻近算子？
• RQ4 在合成与真实数据上，SPARC相较于LASSO、弹性网络与OSCAR在特征选择准确率、分类性能与分组质量方面表现如何？
• RQ5 SPARC是否能在保持或提升模型泛化能力的同时，减少对非零系数的不必要收缩？

主要发现

• 在合成数据上，SPARC实现了最低的平均绝对误差（MAE = 25.75）与均方误差（MSE = 5.29），优于LASSO、EN与OSCAR。
• SPARC实现了最低的选择误差率（5.50%）与自由度（4.02），表明其在特征选择与分组准确性方面表现更优。
• 在乳腺癌数据集上，SPARC实现了最高的分类准确率（74.54%），显著优于LASSO（70.56%）、EN（71.34%）与OSCAR（72.98%）。
• SPARC选择的非零特征更少（NNZ = 80.78），低于OSCAR（120.89）与EN（180.23），同时保持高准确率与更低的自由度（38.12）。
• 在合成数据上，SPARC实现了最低的自由度（4.02），表明其成功将15个真实非零特征精确聚为单一簇。
• 该算法成功避免了对真实非零系数的收缩，这在两个数据集中均体现为低选择误差率与高聚类保真度。