[论文解读] Anderson Acceleration of Proximal Gradient Methods

Vien Van, Mikael Johansson|arXiv (Cornell University)|Oct 18, 2019

Numerical methods in inverse problems被引用 18

一句话总结

本文提出了一种用于近端梯度法的稳定化Anderson加速框架，可在保持全局最坏情况收敛保证的同时实现局部超线性收敛。该研究建立了对非光滑映射的局部收敛性，证明了原生Anderson加速在非光滑优化问题中全局收敛性无法保证，并将该方法扩展至非欧几里得Bregman近端梯度算法，在真实问题上实现了数个数量级的实证加速。

ABSTRACT

Anderson acceleration is a well-established and simple technique for speeding up fixed-point computations with countless applications. Previous studies of Anderson acceleration in optimization have only been able to provide convergence guarantees for unconstrained and smooth problems. This work introduces novel methods for adapting Anderson acceleration to (non-smooth and constrained) proximal gradient algorithms. Under some technical conditions, we extend the existing local convergence results of Anderson acceleration for smooth fixed-point mappings to the proposed scheme. We also prove analytically that it is not, in general, possible to guarantee global convergence of native Anderson acceleration. We therefore propose a simple scheme for stabilization that combines the global worst-case guarantees of proximal gradient methods with the local adaptation and practical speed-up of Anderson acceleration.

研究动机与目标

• 解决原生Anderson加速在非光滑、复合优化问题中缺乏理论收敛保证的问题。
• 通过稳定化Anderson加速，保留近端梯度法的全局最坏情况收敛性，同时实现局部加速。
• 将Anderson加速扩展至Bregman近端梯度框架，使其适用于非欧几里得几何优化。
• 在约束优化问题（包括逻辑回归、非负最小二乘和相对熵回归）中展示显著的实用加速效果。
• 为原生Anderson加速的局限性提供理论依据，并提出一种保护步机制以确保全局收敛。

提出的方法

• 提出一种用于近端梯度算法（PGA）的稳定化Anderson加速方案，结合AA步与受保护的回溯线搜索，以维持全局收敛性。
• 引入一种保护步机制，当AA步未能降低目标函数时，自动回退至标准PGA，从而确保全局最坏情况收敛性得以保持。
• 通过使用Bregman散度作为邻近度量，将Anderson加速适配至Bregman近端梯度（BPG）族，使其可应用于非欧几里得几何。
• 采用最小多项式外推方法估计近端算子的不动点，利用历史迭代点加速收敛。
• 将AA更新公式化为一个凸子问题，通过在Krylov子空间中最小化残差，确保数值稳定性和计算效率。
• 将该方法应用于多种非光滑、约束优化问题，包括L1正则化逻辑回归及非负矩阵分解的子问题。

实验结果

研究问题

• RQ1 Anderson加速能否在近端梯度法中产生的非光滑不动点映射上获得理论支持？
• RQ2 原生Anderson加速在非光滑或复合优化问题中是否能保证全局收敛？
• RQ3 如何对Anderson加速进行稳定化处理，以在保留近端梯度法全局最坏情况收敛性的同时实现局部加速？
• RQ4 Anderson加速能否扩展至Bregman近端梯度方法等非欧几里得优化框架？
• RQ5 将Anderson加速与近端梯度法结合，在真实世界的约束优化问题上能实现多大的实证性能提升？

主要发现

• 作者证明，原生Anderson加速无法保证非光滑映射的全局收敛性，提供了在强凸问题中AA不收敛的反例。
• 所提出的稳定化AA-PGA方法在保持与标准PGA相同最坏情况迭代复杂度的同时，实现了全局收敛与局部超线性收敛。
• 在约束逻辑回归问题中，稳定化AA-PGA方法相比标准PGA及其他一阶方法实现了数个数量级的加速。
• 在非负最小二乘问题中，AA-BPG在某些困难实例中实现了有限时间收敛，表明其能识别出历史迭代点张成空间内的解。
• 在相对熵非负回归中，AA-BPG即使在原本线性收敛困难的子线性收敛实例中也实现了线性收敛，展现出对问题结构的强大局部适应能力。
• 该方法是首个通过Bregman近端梯度框架成功将Anderson加速应用于非欧几里得几何的方案，在多种问题类别中均取得了有前景的实证结果。