[论文解读] Efficient First Order Methods for Linear Composite Regularizers

Andreas A. Argyriou, Charles A. Micchelli+3 more|arXiv (Cornell University)|Apr 7, 2011

Numerical methods in inverse problems参考文献 28被引用 36

一句话总结

该论文提出了一种通用且高效的一阶方法，用于求解具有线性复合正则化的优化问题——如重叠组Lasso、融合Lasso及多任务学习——通过利用不动点迭代，从基函数的已知邻近算子计算复合正则化的邻近算子。该方法实现了最优收敛速率，其在重叠组Lasso上的表现优于现有O(1/T)方法，且在融合Lasso与树形结构组Lasso上达到了O(1/T²)的收敛速率。

ABSTRACT

A wide class of regularization problems in machine learning and statistics employ a regularization term which is obtained by composing a simple convex function ωwith a linear transformation. This setting includes Group Lasso methods, the Fused Lasso and other total variation methods, multi-task learning methods and many more. In this paper, we present a general approach for computing the proximity operator of this class of regularizers, under the assumption that the proximity operator of the function ωis known in advance. Our approach builds on a recent line of research on optimal first order optimization methods and uses fixed point iterations for numerically computing the proximity operator. It is more general than current approaches and, as we show with numerical simulations, computationally more efficient than available first order methods which do not achieve the optimal rate. In particular, our method outperforms state of the art O(1/T) methods for overlapping Group Lasso and matches optimal O(1/T^2) methods for the Fused Lasso and tree structured Group Lasso.

研究动机与目标

• 开发一种通用且计算高效的优化方法，用于求解在机器学习与统计学中常见的具有线性复合正则化的优化问题。
• 通过利用不动点迭代实现复合正则化项的邻近算子计算，将邻近方法的应用范围从具有闭式解的邻近算子情况扩展至更一般的情形。
• 为包括融合Lasso与树形结构组Lasso在内的广泛结构化稀疏问题实现最优收敛速率，特别是O(1/T²)的收敛速率。
• 在重叠组Lasso上，相较于现有O(1/T)方法，实现更快的收敛速度，同时保持对其他复合正则化项的高效性。
• 提供一个统一框架，适用于多任务学习、多核学习及字典学习等多种问题，通过线性变换组合凸函数实现。

提出的方法

• 该方法通过求解由ω的邻近算子与线性变换B导出的不动点问题，计算复合正则化项g(x) = ω(Bx)的邻近算子。
• 采用Picard型不动点迭代数值求解不动点方程，当ω的邻近算子可闭式表达或通过有限计算获得时，该方法收敛迅速。
• 当目标函数f具有强光滑性时，该方法可与Nesterov的加速一阶方法结合，从而在特定问题上实现最优的O(1/T²)收敛速率。
• 该算法具有通用性，无需针对具体问题进行推导，适用于任何已知ω邻近算子的复合正则化项。
• 该方法采用简单的迭代方案，计算轻量化且可扩展，即使在高维B矩阵的大规模问题中亦表现良好。
• 数值验证采用Picard迭代计算邻近算子，结合Nesterov加速实现整体优化，通过目标函数衰减与残差范数监控收敛性。

实验结果

研究问题

• RQ1 当仅已知ω的邻近算子时，能否开发一种通用且高效的算法，用于计算复合正则化项g(x) = ω(Bx)的邻近算子？
• RQ2 所提出的不动点方法是否能为融合Lasso与树形结构组Lasso等结构化稀疏问题实现最优的O(1/T²)收敛速率？
• RQ3 在收敛速度与迭代次数方面，该方法相较于现有O(1/T)方法在重叠组Lasso上的性能如何？
• RQ4 该方法是否可应用于尚未有加速方法可用的通用线性复合正则化问题？
• RQ5 该方法在大规模问题（如涉及图结构关联矩阵的问题）上的经验收敛行为如何？

主要发现

• 所提方法在重叠组Lasso上优于现有最先进的O(1/T)方法，在数值实验中实现了更快的收敛速度。
• 对于融合Lasso与树形结构组Lasso，该方法实现了与已知最优求解器相同的O(1/T²)最优收敛速率，目标函数轨迹一致。
• 在某些情况下（如图结构问题）收敛并非单调，但方法仍能达到高精度——例如在d=100时，第611次迭代时到最优解的距离为2.2×10⁻⁶。
• 该方法具有良好的可扩展性：当d=260时，平均迭代次数为3639.2次，CPU耗时930.8秒，仅使用基础MATLAB实现。
• 邻近算子计算的Picard迭代收敛迅速，连续迭代间ℓ₂差值在数百次迭代内显著减小。
• 该方法适用于大规模问题，包括有效维度为O(d²)的问题，如在最多d=260个节点的图结构数据上所展示的。