[论文解读] Improving "Fast Iterative Shrinkage-Thresholding Algorithm": Faster, Smarter and Greedier

Jingwei Liang, Tao Luo+1 more|arXiv (Cornell University)|Nov 4, 2018

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出一种带有懒启动策略和自适应/贪婪加速规则的改进FISTA算法，在确保序列收敛的同时显著提升了实际收敛速度。新方案优于标准FISTA和FISTA-BT，贪婪变体在某些问题中实现高达10倍的收敛加速。

ABSTRACT

The "fast iterative shrinkage-thresholding algorithm", a.k.a. FISTA, is one of the most well-known first-order optimisation scheme in the literature, as it achieves the worst-case $O(1/k^2)$ optimal convergence rate in terms of objective function value. However, despite such an optimal theoretical convergence rate, in practice the (local) oscillatory behaviour of FISTA often damps its efficiency. Over the past years, various efforts are made in the literature to improve the practical performance of FISTA, such as monotone FISTA, restarting FISTA and backtracking strategies. In this paper, we propose a simple yet effective modification to the original FISTA scheme which has two advantages: it allows us to 1) prove the convergence of generated sequence; 2) design a so-called "lazy-start" strategy which can up to an order faster than the original scheme. Moreover, by exploring the properties of FISTA scheme, we propose novel adaptive and greedy strategies which probes the limit of the algorithm. The advantages of the proposed schemes are tested through problems arising from inverse problem, machine learning and signal/image processing.

研究动机与目标

• 解决FISTA因振荡行为导致的实际效率低下问题，尽管其具有最优的O(1/k²)收敛速率。
• 通过引入具有收敛性证明的改进方案，克服标准FISTA缺乏序列收敛的问题。
• 设计一种懒启动策略，在不牺牲收敛保证的前提下，加速早期迭代的收敛速度。
• 设计自适应和贪婪的步长策略，使其能动态响应局部问题特性，从而提升性能。
• 在反问题、机器学习和图像处理等实际问题上评估所提出的方案。

提出的方法

• 提出一种改进的FISTA方案，采用新的更新规则，确保生成序列的收敛性，与标准FISTA不同。
• 提出一种“懒启动”策略，延迟激进动量的使用，直到迭代点趋于稳定，从而减少早期振荡。
• 设计自适应和贪婪的步长规则，通过探测目标函数的局部曲率来加速收敛。
• 将改进的FISTA与回溯线搜索相结合，在保持收敛性的同时提升实际运行速度。
• 利用邻近算子和惯性前向-后向分裂方法，处理优化问题中的非光滑结构。
• 在涉及ℓ∞-范数、总变差、稀疏逻辑回归和主成分追踪的问题上实现并测试该算法。

实验结果

研究问题

• RQ1 能否设计一种改进的FISTA方案，以确保生成序列的收敛性，同时保持快速的收敛速率？
• RQ2 懒启动策略在不损害收敛性的前提下，如何提升FISTA的实际性能？
• RQ3 自适应和贪婪的步长规则在非光滑优化中，能在多大程度上提升FISTA的收敛速度？
• RQ4 在不同问题类别中，所提出的变体与FISTA-BT和单调FISTA相比，在收敛速度和鲁棒性方面表现如何？
• RQ5 所提出的方案能否在图像处理和机器学习等实际应用中实现显著的速度提升？

主要发现

• 当ℓ∞-范数问题需要高精度（‖xₖ − x*‖ ≤ 10⁻¹⁰）时，所提出的懒启动FISTA-Mod收敛速度比FISTA-BT快超过10倍。
• 自适应和贪婪的FISTA变体在所有测试问题中均持续优于标准FISTA和FISTA-BT，且贪婪FISTA在每次实验中均为最快。
• 改进的FISTA方案保证了序列的收敛性，解决了原始FISTA算法的关键局限。
• 懒启动策略有效减少了早期振荡并加速了收敛，尤其在初始进展缓慢的问题中表现显著。
• 在稀疏逻辑回归和主成分追踪问题上的数值结果表明，所提方案在显著减少迭代次数的同时保持了高精度。
• 懒启动FISTA-Mod的性能与重启自适应方案非常接近，表明其具有极强的实际可行性。