[论文解读] A unified algorithm for the non-convex penalized estimation: The ncpen package

Dongshin Kim, Sangin Lee+1 more|arXiv (Cornell University)|Nov 13, 2018

Statistical and numerical algorithms被引用 6

一句话总结

该论文介绍了 ncpen R 包，这是一种基于凸-凹逼近法（CCCP）和改进局部二次逼近（MLQA）的统一算法，用于在高维广义线性模型中进行非凸惩罚估计。该包支持广泛的非凸惩罚项，包括 SCAD、MCP、log、bridge 和稀疏岭等，提供了增强的灵活性、用户友好的功能（如交叉验证和 ℓ₂ 稳定化），并通过全局初始解路径实现性能提升，克服了现有包仅限于 SCAD 和 MCP 的局限性。

ABSTRACT

Various R packages have been developed for the non-convex penalized estimation but they can only be applied to the smoothly clipped absolute deviation (SCAD) or minimax concave penalty (MCP). We develop an R package, entitled ncpen, for the non-convex penalized estimation in order to make data analysts to experience other non-convex penalties. The package ncpen implements a unified algorithm based on the convex concave procedure and modified local quadratic approximation algorithm, which can be applied to a broader range of non-convex penalties, including the SCAD and MCP as special examples. Many user-friendly functionalities such as generalized information criteria, cross-validation and L2-stabilization are provided also.

研究动机与目标

• 解决现有 R 包在 SCAD 和 MCP 之外缺乏灵活、通用的非凸惩罚估计工具的问题。
• 开发一种统一算法，支持包括 log、bridge、截断 ℓ₁ 和稀疏 ridge 在内的多种非凸惩罚项。
• 通过支持非标准化输入变量和全局初始解路径，提升非凸优化中的估计性能，这些是实现稳定优化的关键。
• 提供用户友好的功能，如交叉验证、广义信息准则和 ℓ₂ 稳定化，以实现稳健的模型选择。
• 解决基于坐标下降法在非凸惩罚下缺乏闭式更新时固有的收敛性和变量选择不稳定性问题。

提出的方法

• ncpen 包实现了基于凸-凹逼近法（CCCP）和改进局部二次逼近（MLQA）的统一算法，用于最小化非凸惩罚似然函数。
• 该算法处理一类广泛的非凸惩罚项，其定义基于非递减次梯度函数 ∇Jλ(t)，确保 Dλ(t) = Jλ(|t|) − κλ|t| 的凹性。
• 对于每种惩罚项，算法通过使用凸代理函数迭代逼近非凸惩罚项，从而通过求解一系列凸子问题实现高效优化。
• 通过在递减的调优参数 λ 序列上采用热启动策略构建解路径，可选地引入全局初始化以提升收敛性和性能。
• 通过混合惩罚项 αJλ(|t|) + (1−α)|t|² 实现 ℓ₂ 稳定化，防止在逻辑回归中出现完全分离时的参数发散。
• 所有核心计算均通过 Rcpp 包使用 C++ 实现，确保在大规模数据上的高性能。

实验结果

研究问题

• RQ1 单一算法是否能高效处理高维 GLMs 中超出 SCAD 和 MCP 的多种非凸惩罚项？
• RQ2 初始解的选择（热启动 vs. 全局初始）如何影响非凸惩罚估计器的性能与稳定性？
• RQ3 ℓ₂ 稳定化在非凸惩罚模型中，尤其是在完全分离情况下，能在多大程度上改善收敛性和变量选择？
• RQ4 不同非凸惩罚项（如 log、bridge、稀疏 ridge）在预测准确性和变量选择一致性方面有何差异？
• RQ5 一个支持灵活初始化和非标准化输入的统一 R 包，是否能提升用户控制力和非凸惩罚回归中的估计可靠性？

主要发现

• ncpen 包成功支持 6 种非凸惩罚项：SCAD、MCP、截断 ℓ₁、改进 log、bridge、适度截断 LASSO 和稀疏 ridge，其功能范围超越了现有包的限制。
• 采用全局初始解显著提升了估计性能：对于 SCAD，平均负对数似然从 0.4777 降低至 0.1965，所选变量数从 1.61 增加至 9.96，表明变量选择能力更强。
• 全局初始策略将 SCAD 的误分类误差从 0.0894 降低至 0.0422，MCP 的误分类误差从 0.1466 降低至 0.0422，证明了预测准确性的显著提升。
• ℓ₂ 稳定化有效防止了逻辑回归中的参数发散；随着 λ 减小，解路径保持稳定，尤其当 α < 1 时，α = 0.3 时路径最稳定。
• 采用全局初始化的改进 bridge 惩罚项实现了最低的平均负对数似然（0.1804）和误分类误差（0.0427），在预测和变量选择方面均优于其他方法。
• 与热启动策略相比，ncpen 包在所有指标上均表现出更优性能，预测误差、变量选择和模型稳定性均持续提升。