[论文解读] A Note on k-support Norm Regularized Risk Minimization

Matthew B. Blaschko|arXiv (Cornell University)|Mar 26, 2013

Risk and Portfolio Optimization参考文献 14被引用 4

一句话总结

本文提出并实现了一个统一框架，用于在多种机器学习任务（包括分类和回归）中进行k-support范数正则化风险最小化。通过将k-support范数应用于各种损失函数（如平方损失、合页损失和ε-不敏感损失），推导出新型算法，这些算法泛化性能优异，在各类设置下，其准确率和均方误差均持续优于ℓ₁和ℓ₂正则化。

ABSTRACT

The k-support norm has been recently introduced to perform correlated sparsity regularization. Although Argyriou et al. only reported experiments using squared loss, here we apply it to several other commonly used settings resulting in novel machine learning algorithms with interesting and familiar limit cases. Source code for the algorithms described here is available.

研究动机与目标

• 将k-support范数正则化从平方损失扩展到更广泛的机器学习问题类别。
• 通过k-support范数将多种学习算法（如SVM、逻辑回归、SVR）统一并实现于单一框架下。
• 评估k-support正则化模型在有限样本下的性能表现。
• 证明k-support正则化相较于现有方法（如弹性网络）能提供更紧致的结构化稀疏性凸松弛。

提出的方法

• k-support范数被定义为ℓ₂与ℓ₁类惩罚的凸组合，其值通过排序并分组权重向量中前k-r-1个和剩余r+1个最大分量计算得出。
• 针对每种损失函数（平方损失、单边平方损失、合页损失、逻辑损失、指数损失、绝对损失、ε-不敏感损失），推导出Nesterov加速近端法所需的梯度和Lipschitz常数。
• 采用Huber近似对非可微损失（如合页损失、ε-不敏感损失）进行平滑处理，以支持一阶方法的高效优化。
• 框架支持在k ∈ {1,…,d}和λ ∈ {10⁻¹⁵,…,10⁵}范围内进行模型选择，以识别最优正则化参数。
• 所有算法均已实现，并通过公共GitHub仓库发布，以确保可复现性和基准测试。
• 在包含15个信息特征和50个噪声特征的合成二分类任务上评估该方法，使用50个训练样本、50个验证样本和250个测试样本。

实验结果

研究问题

• RQ1 k-support范数正则化在平方损失之外的多种损失函数上表现如何？
• RQ2 k-support正则化模型在结构化稀疏性设置下能否实现优于ℓ₁或ℓ₂正则化模型的泛化性能？
• RQ3 k-support正则化模型在非可微损失（如合页损失和ε-不敏感损失）下的有限样本行为如何？
• RQ4 k-support范数与现有结构化稀疏性方法（如弹性网络）相比，在准确率和鲁棒性方面表现如何？

主要发现

• 在分类实验中，k-support范数正则化模型在所有损失函数下均实现了更高的平均准确率（0.883 ± 0.058），优于ℓ₁（0.870 ± 0.062）和ℓ₂（0.871 ± 0.071）。
• 在均方误差方面，k-support范数表现优于ℓ₁和ℓ₂：使用平方损失时为1.21e2 ± 4.89e1，使用绝对损失时为1.25e2 ± 5.41e1，而其他正则化方法的误差更高。
• k-support正则化SVM（采用Huber平滑的合页损失）实现了0.890 ± 0.057的准确率，优于ℓ₁正则化SVM（0.868 ± 0.069）和标准SVM（0.872 ± 0.063）。
• k-support正则化ε-SVR在所有方法中实现了最低的MSE（2.21e2 ± 1.51e1），优于ℓ₁（2.16e2 ± 1.66e1）和ℓ₂（2.25e2 ± 1.56e1）变体。
• 该框架通过Huber平滑成功将k-support正则化扩展至非可微损失，实现了与Nesterov方法兼容的稳定优化。
• 结果表明，k-support正则化相较于ℓ₁或ℓ₂能提供更紧致的结构化稀疏性凸松弛，从而在多种学习任务中实现性能提升。