[论文解读] A Blockwise Descent Algorithm for Group-penalized Multiresponse and Multinomial Regression

Noah Simon, Jerome H. Friedman+1 more|arXiv (Cornell University)|Nov 26, 2013

Gene expression and cancer classification参考文献 7被引用 71

一句话总结

该论文提出了一种用于分组惩罚多响应和多项式回归的分块坐标下降算法，利用拟牛顿框架以提高效率。与竞争方法相比，其速度提升了10倍，能够实现实时求解大规模基因表达问题（p > 10,000个特征）。

ABSTRACT

In this paper we purpose a blockwise descent algorithm for group-penalized multiresponse regression. Using a quasi-newton framework we extend this to group-penalized multinomial regression. We give a publicly available implementation for these in R, and compare the speed of this algorithm to a competing algorithm --- we show that our implementation is an order of magnitude faster than its competitor, and can solve gene-expression-sized problems in real time.

研究动机与目标

• 开发一种用于分组惩罚多响应和多项式回归模型的高效优化算法。
• 解决在p ≫ n情况下拟合分组惩罚模型时的计算瓶颈，特别是在基因组学等高维设置中。
• 将分块坐标下降扩展至处理多响应和多项式回归框架中的分组惩罚。
• 通过高效更新和筛选规则，提升大规模问题（如基因表达数据）的计算可扩展性。
• 提供一个公开可用、高性能的R实现，并集成到广泛使用的glmnet包中。

提出的方法

• 使用分块坐标下降，每次仅更新系数矩阵β的一行，其余保持固定。
• 对于每个分块，通过从次梯度条件推导出的闭式软阈值类似更新，求解涉及分组lasso惩罚的子问题。
• 在多项式回归设置中采用拟牛顿框架以加速收敛。
• 应用强筛选规则以早期剔除不活跃预测变量，降低计算成本。
• 通过结合分组lasso和岭回归惩罚，引入弹性网络正则化，并采用修改后的更新规则以保持计算效率。
• 使用路径优化策略，结合热启动和几何递减的λ值，以加快解路径的计算速度。

实验结果

研究问题

• RQ1 能否高效地将分块坐标下降算法适配到具有不可微分分组lasso惩罚的分组惩罚多响应回归？
• RQ2 与现有实现（如msgl）相比，该算法在大规模问题上的速度和可扩展性如何？
• RQ3 强筛选规则在分组惩罚多项式模型中在多大程度上能减少计算时间而不损害最优性？
• RQ4 该算法能否高效处理具有p > 10,000个特征和多个响应类别的高维设置？
• RQ5 当预测变量在各类别间具有共享稀疏模式时，引入分组惩罚多项式lasso是否能提升预测准确性和模型可解释性？

主要发现

• 在所有测试的问题规模下，该算法在glmnet中的实现比msgl包在分组惩罚多项式回归中快约10倍。
• 对于n=200、p=10,000、M=10个类别的问题，该算法在17秒内完成完整λ路径求解，展示了在基因表达规模数据上的实时性能。
• 使用强筛选规则后，最优性条件的违反极少，仅有极少数变量需要在筛选后重新加入。
• 即使在特征相关性较强（ρ=0.2）的情况下，该算法仍保持高效率，显示出对中等程度相关结构的鲁棒性。
• 引入弹性网络正则化可提升稳定性和性能，其闭式更新规则保持了计算效率。
• 该方法现已集成至glmnet版本1.8-2，为分组惩罚多响应和多项式回归提供了可扩展的开源解决方案。