[论文解读] Optimal subgradient algorithms with application to large-scale linear inverse problems

Masoud Ahookhosh|arXiv (Cornell University)|Feb 28, 2014

Sparse and Compressive Sensing Techniques参考文献 19被引用 12

一句话总结

本文提出了一种用于大规模线性反问题的最优次梯度算法（OSGA），适用于复合凸目标函数。通过利用自适应参数更新和带预条件的近端函数，OSGA 实现了快速收敛——通常超越理论预测速率——并在数值实验中优于最先进求解器，尤其在病态条件问题上表现突出。

ABSTRACT

This study addresses some algorithms for solving structured unconstrained convex optimiza- tion problems using first-order information where the underlying function includes high-dimensional data. The primary aim is to develop an implementable algorithmic framework for solving problems with multi- term composite objective functions involving linear mappings using the optimal subgradient algorithm, OSGA, proposed by Neumaier in [49]. To this end, we propose some prox-functions for which the cor- responding subproblem of OSGA is solved in a closed form. Considering various inverse problems arising in signal and image processing, machine learning, statistics, we report extensive numerical and compar- isons with several state-of-the-art solvers proposing favourably performance of our algorithm. We also compare with the most widely used optimal first-order methods for some smooth and nonsmooth con- vex problems. Surprisingly, when some Nesterov-type optimal methods originally proposed for smooth problems are adapted for solving nonsmooth problems by simply passing a subgradient instead of the gradient, the results of these subgradient-based algorithms are competitive and totally interesting for solving nonsmooth problems. Finally, the OSGA software package is available.

研究动机与目标

• 开发一种高效的一阶方法，用于求解线性反问题中出现的大规模凸优化问题。
• 将最优次梯度算法（OSGA）扩展至处理具有结构化约束的复合非光滑目标函数。
• 设计自适应参数更新方案，以提升收敛速度，且无需依赖全局Lipschitz常数。
• 提供一个轻量级内存与计算开销的实用凸优化软件包，适用于无约束问题。

提出的方法

• 提出一种复合OSGA框架，将原始OSGA推广至处理多术语仿射复合函数。
• 提出一种新型参数更新方案（算法3），通过局部与全局调参自适应调整 α, h, γ, η, 和 u。
• 采用形式为 $ Q(z) = Q_0 + \frac{\sigma}{2}\|z - z_0\|_{\mathcal{D}}^2 $ 的强凸近端函数，结合对称正定预条件算子 $ \mathcal{D} $，使辅助子问题可解析求解。
• 通过 $ u = z_0 - E(\gamma,h)^{-1}\sigma^{-1}\mathcal{D}^{-1}h $ 推导出子问题的显式解，其中 $ E(\gamma,h) $ 通过 h 与参数的二次型定义。
• 采用基于误差界 $ \eta \leq \epsilon $ 的停止准则，同时考虑迭代次数上限与函数评估次数限制，以提升实际效率。
• 通过用次梯度替代梯度，将光滑一阶方法（如FISTA）适配至非光滑问题，形成黑箱预言机方法。

实验结果

研究问题

• RQ1 能否为具有复合非光滑目标函数的大规模线性反问题设计一种最优次梯度算法，同时保持理论最优性与实际效率？

主要发现

• OSGA 的收敛速率通常超越理论预测，尤其在病态问题上表现突出，表明其实际性能远超理论预期。
• 在数值实验中，OSGA 仅需约15次迭代即可实现视觉上准确的信号恢复，显著优于FISTA、NESCS与NES05（后者约需100次迭代）。
• 采用预条件近端函数 $ Q(z) = Q_0 + \frac{\sigma}{2}\|z - z_0\|_{\mathcal{D}}^2 $ 可使辅助子问题获得闭式解，极大提升计算效率。
• 通过用次梯度替代梯度，将光滑一阶方法（如FISTA）适配至非光滑问题，虽缺乏理论保证，但结果仍具竞争力或更优。
• OSGA 软件包（v1.1）已公开发布，支持MATLAB平台，提供用户自定义问题的完整文档与示例实现。
• 数值结果表明，当正则化参数较小时，OSGA 在计算效率上与TwIST、SpaRSA和FISTA等最先进求解器相比具有竞争力或更优表现。