[论文解读] Proximal methods for minimizing the sum of a convex function and a composite function

Quoc Tran Dinh, Moritz Diehl|arXiv (Cornell University)|May 2, 2011

Sparse and Compressive Sensing Techniques参考文献 19被引用 7

一句话总结

本文提出两种拟牛顿型算法，用于最小化凸函数与复合函数之和，利用带有自适应步长的梯度方案。在Lipschitz连续和非退化条件下，加速版本实现了O(1/k²)的最坏情况复杂度边界，并展现出对强凸问题的显著更快收敛速率。

ABSTRACT

This paper extends the algorithm schemes proposed in \cite{Nesterov2007a} and \cite{Nesterov2007b} to the minimization of the sum of a composite objective function and a convex function. Two proximal point-type schemes are provided and their global convergence is investigated. The worst case complexity bound is also estimated under certain Lipschitz conditions and nondegeneratedness. The algorithm is then accelerated to get a faster convergence rate for the strongly convex case.

研究动机与目标

• 将近端点算法扩展至最小化凸函数与复合函数之和，推广现有非线性规划与正则化框架。
• 在Lipschitz连续性和非退化假设下，开发具有理论复杂度边界的全局收敛算法。
• 通过Nesterov风格的动量技术，加速强凸情形下的收敛速度。
• 提供一个统一框架，适用于稀疏最小二乘、l1-惩罚问题以及通过增广拉格朗日方法的非线性规划。

提出的方法

• 该方法采用带有自适应步长αk = (k+1)/(4LϕLF)的近端型方案，通过迭代点的加权平均引入动量。
• 引入一序列二次上界函数φk(z)，在每次迭代中更新，以近似目标函数，确保下降性与收敛性。
• 通过固定惩罚参数ρk = LϕLF，求解一系列包含二次正则化项和复合函数ϕ(F(x))的凸子问题。
• 关键组件是利用梯度映射G̃L(yk)估计局部曲率，从而构建下一迭代点的二次模型。
• 通过系数ak保持函数值的加权和，借助类似李雅普诺夫函数φk*确保收敛。
• 若Lipschitz常数未知，则建议采用线搜索策略，以提升实际应用中的鲁棒性。

实验结果

研究问题

• RQ1 近端方法能否被扩展至最小化凸函数与复合函数之和，并实现更快的收敛速率？
• RQ2 在Lipschitz连续和非退化条件下，此类方法的最坏情况复杂度边界是什么？
• RQ3 Nesterov加速技术如何适配于复合、非光滑及非凸情形？
• RQ4 所提出的算法能否在保持全局收敛的同时，实现强凸情形下O(1/k²)的收敛速率？
• RQ5 该方法如何应用于稀疏最小二乘和l1-惩罚非线性规划等实际问题？

主要发现

• 所提出的加速算法实现了O(1/k²)的最坏情况收敛速率，与光滑凸问题的最优速率一致。
• 在标准假设下，包括梯度的Lipschitz连续性和非退化性，两种算法的全局收敛性均得到严格证明。
• 复杂度边界推导为f(xk) − f(x*) ≤ 4LϕLF‖x⁰ − x*‖² / (k(k+1))，证明了快速收敛。
• 该方法适用于广泛问题，包括稀疏最小二乘、l1-惩罚优化以及使用增广拉格朗日方法的非线性规划。
• 即使Lipschitz常数通过线搜索估计，算法仍能保持收敛性，增强了实际可用性。
• 数值验证得到理论分析支持，表明基于动量的更新方案可确保最优性间隙的快速衰减。