[论文解读] Adaptive Fista

Peter Ochs, Thomas Pock|arXiv (Cornell University)|Nov 12, 2017

Numerical methods in inverse problems被引用 2

一句话总结

本文提出自适应FISTA，一种自适应外推的近端梯度方法，通过精确或非精确线搜索动态优化外推参数，在非凸设置下提升收敛性能。该方法被证明等价于一类SR1型近端拟牛顿方法，并为所提算法及一般非凸问题中的拟牛顿变体建立了新的收敛性保证。

ABSTRACT

In this paper we propose an adaptively extrapolated proximal gradient method, which is based on the accelerated proximal gradient method (also known as FISTA), however we locally optimize the extrapolation parameter by carrying out an exact (or inexact) line search. It turns out that in some situations, the proposed algorithm is equivalent to a class of SR1 (identity minus rank 1) proximal quasi-Newton methods. Convergence is proved in a general non-convex setting, and hence, as a byproduct, we also obtain new convergence guarantees for proximal quasi-Newton methods. The efficiency of the new method is shown in numerical experiments on a sparsity regularized non-linear inverse problem.

研究动机与目标

• 为求解非凸优化问题，开发一种更高效且自适应的FISTA算法变体。
• 解决加速近端梯度方法中外推参数固定或启发式选择的局限性。
• 在一般非凸设置下建立收敛性，将理论保证扩展至更广泛的问题类别。
• 通过自适应参数选择，将所提方法与近端拟牛顿方法（特别是SR1型更新）联系起来。
• 在具有稀疏性约束的真实非线性逆问题上，展示该方法的实际效率。

提出的方法

• 该方法在每次迭代中通过精确或非精确线搜索自适应调整外推参数，以改善收敛性。
• 其基于FISTA框架，但将固定或回溯外推替换为基于下降条件的局部优化参数。
• 线搜索确保目标函数充分下降，平衡加速性与稳定性。
• 该算法保持近端梯度结构，同时通过自适应参数引入曲率信息。
• 在特定条件下，该方法在数学上等价于一类SR1型近端拟牛顿方法。
• 在一般非凸设置下证明了收敛性，扩展了新算法及相关拟牛顿方法的理论有效性。

实验结果

研究问题

• RQ1 自适应线搜索策略是否能提升FISTA在非凸优化中的收敛性与鲁棒性？
• RQ2 在实践中，自适应外推参数选择与固定或回溯策略相比表现如何？
• RQ3 所提自适应方法与SR1型拟牛顿方法之间的理论关系是什么？
• RQ4 在何种条件下，自适应FISTA方法在非凸设置中能保持收敛性？
• RQ5 与标准FISTA相比，该方法是否能在稀疏非线性逆问题上实现更优性能？

主要发现

• 所提自适应FISTA方法在非凸优化问题中相比标准FISTA展现出更优的收敛行为。
• 在一般非凸设置下严格证明了收敛性，为该算法提供了新的理论保证。
• 在特定条件下，该方法在数学上等价于一类SR1型近端拟牛顿方法。
• 作为分析的副产品，为近端拟牛顿方法建立了新的收敛性保证。
• 数值实验表明，自适应FISTA在稀疏正则化非线性逆问题上效率优越，展现出相对于基线方法的实际优势。