[论文解读] A coordinate-wise optimization algorithm for the Fused Lasso

Holger Höfling, Harald Binder+1 more|arXiv (Cornell University)|Nov 29, 2010

Statistical Methods and Inference参考文献 14被引用 11

一句话总结

本文提出了一种用于融合Lasso的坐标优化算法，通过结合最大流计算与Huber惩罚近似，确保收敛至全局最优解。该方法通过基于图的惩罚项将Lasso扩展至结构化稀疏性，适用于回归、逻辑斯蒂及生存模型，实现快速且精确的求解。

ABSTRACT

L1 -penalized regression methods such as the Lasso (Tibshirani 1996) that achieve both variable selection and shrinkage have been very popular. An extension of this method is the Fused Lasso (Tibshirani and Wang 2007), which allows for the incorporation of external information into the model. In this article, we develop new and fast algorithms for solving the Fused Lasso which are based on coordinate-wise optimization. This class of algorithms has recently been applied very successfully to solve L1 -penalized problems very quickly (Friedman et al. 2007). As a straightforward coordinate-wise procedure does not converge to the global optimum in general, we adapt it in two ways, using maximum-flow algorithms and a Huber penalty based approximation to the loss function. In a simulation study, we evaluate the speed of these algorithms and compare them to other standard methods. As the Huber-penalty based method is only approximate, we also evaluate its accuracy. Apart from this, we also extend the Fused Lasso to logistic as well as proportional hazards models and allow for a more flexible penalty structure.

研究动机与目标

• 开发一种快速且全局收敛的算法，用于求解具有通用图结构惩罚项的融合Lasso问题。
• 解决标准坐标优化方法在融合Lasso设置下可能无法收敛至全局最优的局限性。
• 将融合Lasso扩展至逻辑斯蒂回归与比例风险模型，支持灵活的惩罚结构。
• 为大规模或重复拟合场景（如自助法或交叉验证）提供计算高效的解决方案。
• 通过融合与分裂策略，在有限步数内提供理论上的收敛保证。

提出的方法

• 提出一种增强最大流计算的坐标优化算法，以强制变量融合并确保收敛至全局最优解。
• 引入基于Huber惩罚的损失函数近似方法，以实现更快的计算速度，以轻微精度损失换取速度提升。
• 采用分块策略，将系数融合为具有相等值的集合，并根据次梯度条件迭代更新这些集合。
• 应用变换后的问题形式，将融合后的系数视为单一变量，从而支持高效的坐标更新。
• 实施两阶段算法：第一阶段利用最大流融合系数以满足最优性条件；第二阶段允许分裂以逃离局部最优。
• 利用在融合约束下坐标优化的有限性与唯一性，确保有限步收敛。

实验结果

研究问题

• RQ1 坐标优化能否被适配于融合Lasso问题，以确保收敛至全局最优？
• RQ2 在迭代优化框架中，如何有效处理融合Lasso损失函数的非凸性与非光滑性？
• RQ3 与精确方法相比，使用Huber惩罚近似在速度与精度方面的性能提升如何？
• RQ4 融合Lasso能否扩展至非高斯模型（如逻辑斯蒂回归与Cox比例风险回归）并支持结构化惩罚？
• RQ5 所提出的算法在有限时间内收敛的理论保证是什么？

主要发现

• 基于最大流计算的精确算法在有限步数内收敛至全局最优解，其理论依据由引理与定理证明。
• 基于Huber惩罚的近似方法可提供快速且接近最优的解，精度可接受，适用于大规模问题。
• 该算法可扩展至逻辑斯蒂回归与比例风险模型，显著拓宽了融合Lasso在非高斯模型中的适用范围。
• 通过任意图结构支持灵活的惩罚结构，允许对非邻近系数差异施加惩罚。
• 实证评估显示，与标准方法相比，该方法在高维或重复拟合场景中显著提升了运行速度。
• 有限收敛性及在融合约束下坐标优化最优点的唯一性，确保了优化结果的可靠与稳定。