[论文解读] Forward-backward truncated Newton methods for convex composite optimization

Panagiotis Patrinos, Lorenzo Stella+1 more|arXiv (Cornell University)|Feb 26, 2014

Advanced Optimization Algorithms Research参考文献 56被引用 29

一句话总结

该论文通过将非光滑问题重新表述为前向后向包络（FBE）的无约束最小化问题，提出两种拟牛顿共轭梯度（Newton-CG）方法，以解决凸复合优化问题。FBE是一种光滑的精确罚函数。该方法实现了Q超线性或Q二次收敛，并具备全局复杂度界，通过在小维度线性系统上高效使用基于CG的牛顿步长实现。

ABSTRACT

This paper proposes two proximal Newton-CG methods for convex nonsmooth optimization problems in composite form. The algorithms are based on a a reformulation of the original nonsmooth problem as the unconstrained minimization of a continuously differentiable function, namely the forward-backward envelope (FBE). The first algorithm is based on a standard line search strategy, whereas the second one combines the global efficiency estimates of the corresponding first-order methods, while achieving fast asymptotic convergence rates. Furthermore, they are computationally attractive since each Newton iteration requires the approximate solution of a linear system of usually small dimension.

研究动机与目标

• 解决形式为 min f(x) + g(x) 的凸复合优化问题，其中 f 是光滑函数，g 是非光滑但具有廉价的近端映射。
• 通过引入光滑重构方法，克服一阶方法（如收敛缓慢）和非光滑环境下二阶方法高成本的局限性。
• 设计全局收敛、超线性快速收敛的算法，通过利用小维度线性系统保持每轮迭代的低复杂度。
• 通过利用解附近 Hessian 近似中的稀疏性和结构，实现高效的大规模计算和可热启动的解法。

提出的方法

• 将复合问题 min f(x) + g(x) 重新表述为前向后向包络（FBE）的无约束最小化问题，FBE 是一种连续可微的精确罚函数。
• 利用非光滑分析工具，推导 FBE 梯度的广义可微性质，并构建 Hessian 的线性牛顿近似（LNA）。
• 在每轮迭代中应用共轭梯度（CG）方法近似求解牛顿系统，避免显式构造 Hessian 矩阵，从而提升可扩展性。
• 设计两种算法：FBN-CG I 使用线搜索策略，而 FBN-CG II 融合一阶方法的全局收敛估计与快速的局部收敛性能。
• 通过逐步减小延续参数 λ 的值（从较大的 λ 开始，逐步推进到 λ₀）实现热启动。
• 利用矩阵结构（如稀疏性、Kronecker 积）高效计算矩阵-向量乘积和残差，降低计算成本。

实验结果

研究问题

• RQ1 非光滑复合优化问题能否被等价地重构为具有有利收敛性质的无约束光滑优化问题？
• RQ2 能否为这种光滑重构设计牛顿型方法，实现在保持全局收敛保证的同时实现快速的局部收敛？
• RQ3 能否通过利用问题结构并结合 CG 等迭代求解器，将牛顿步长的计算成本保持在较低水平？
• RQ4 所提方法在迭代次数和 SVD 使用方面能否优于标准的一阶方法（如 FBS、APGL）和其他二阶方法（如 LADM）？
• RQ5 该框架能否扩展至拟牛顿或信赖域方法？能否推广至非凸问题？

主要发现

• 前向后向包络（FBE）是一种连续可微的精确罚函数，可将非光滑复合问题转化为无约束光滑问题。
• 所提出的 FBN-CG I 和 FBN-CG II 算法在非退化情况下实现了 Q 超线性或 Q 二次收敛速率，并具备全局复杂度界。
• 在矩阵补全测试中，FBN-CG I 和 II 在 n=100–500 时平均分别需要 54–84 次迭代和 126–151 次 SVD，优于 LADM（最多 1000 次迭代），且精度与 APGL 相当，但每轮迭代的 SVD 成本更高。
• 在所有测试案例中，FBN-CG 方法的相对误差始终低于 2e-4，而 LADM 在较大矩阵上 1000 次迭代内未能收敛。
• 由于使用了小维度线性系统并有效利用稀疏性和热启动，该方法计算高效，可扩展至大规模问题。
• 该框架使经典光滑牛顿方法能够推广至非光滑和约束问题，为拟牛顿和信赖域变体的开发开辟了新途径。