[论文解读] Globally Convergent Type-I Anderson Acceleration for Non-Smooth Fixed-Point Iterations

Junzi Zhang, Brendan O’Donoghue+1 more|ArXiv.org|Aug 12, 2018

Matrix Theory and Algorithms参考文献 41被引用 35

一句话总结

本论文提出了一种针对非光滑、非扩张不动点迭代的首个全局收敛型I类Anderson加速（AA-I）方法，通过集成保护性步骤、Powell型正则化以及强线性无关性检测的重启机制，实现了全局收敛。该方法无需可微性或线搜索假设，显著提升了SCS 2.0和CVXPY 1.0等一阶方法的终端收敛性能。

ABSTRACT

We consider the application of the type-I Anderson acceleration to solving general non-smooth fixed-point problems. By interleaving with safe-guarding steps, and employing a Powell-type regularization and a re-start checking for strong linear independence of the updates, we propose the first globally convergent variant of Anderson acceleration assuming only that the fixed-point iteration is non-expansive. We show by extensive numerical experiments that many first order algorithms can be improved, especially in their terminal convergence, with the proposed algorithm. Our proposed method of acceleration is being implemented in SCS 2.0, one of the default solvers used in the convex optimization parser-solver CVXPY 1.0.

研究动机与目标

• 开发一种针对非光滑、非扩张不动点迭代的全局收敛加速方法，此类迭代在凸优化和博弈论中十分常见。
• 克服标准I类Anderson加速（AA-I）在缺乏强假设下常出现的不稳定性和缺乏全局收敛性问题。
• 消除对线搜索或可微性的依赖，使方法可应用于近端法、投影法及拟牛顿法。
• 提供一种实用且稳定的加速框架，提升SCS 2.0和CVXPY 1.0等一阶求解器的终端收敛性能。
• 将理论保证扩展至非欧几里得范数以及基于动量的方法，如Heavy Ball方法和MDP中的值迭代。

提出的方法

• 引入一种保护性机制，通过交替使用AA-I步骤与Krasnosel’ski̍i-Mann（KM）迭代，确保进展与稳定性。
• 对Anderson更新应用Powell型正则化，以维持数值稳定性并避免病态条件。
• 基于更新向量的强线性无关性设计重启准则，防止停滞与发散。
• 采用非单调的无线搜索策略，利用不动点映射的非扩张性作为主要收敛保证。
• 将改进后的AA-I集成至现有求解器（如SCS 2.0）中，实现凸优化问题的即插即用式加速。
• 在仅假设ℓ₂范数下非扩张性的条件下，确保全局收敛，无需满足压缩性或可微性条件。

实验结果

研究问题

• RQ1 能否在不增加额外假设的前提下，使I类Anderson加速在非光滑、非扩张不动点问题上实现全局收敛？
• RQ2 如何在保持AA-I实际中快速终端收敛性能的同时，缓解其不稳定性？
• RQ3 当映射f为非扩张但不可微或非压缩时，需要进行哪些修改以确保全局收敛？
• RQ4 所提方法能否扩展至Heavy Ball方法和MDP中的值迭代等基于动量的方法？
• RQ5 该算法在f的随机或噪声评估下表现如何？与AA-II相比有何差异？

主要发现

• 所提方法在仅依赖非扩张性假设下，实现了对非光滑、非扩张不动点问题的全局收敛，无需线搜索或可微性假设。
• 大量数值实验表明，一阶方法的终端收敛速度显著提升，尤其在高精度场景下。
• 该算法已集成至SCS 2.0和CVXPY 1.0中，展示了其在真实世界凸优化流水线中的实际应用价值。
• 该方法在稳定性与鲁棒性方面优于标准AA-I，同时在各类问题类别中保持了其快速收敛特性。
• 理论扩展已建立于MDP中的值迭代及QPs中的Heavy Ball方法，证明在ℓ₂或ℓ∞范数下，非扩张性条件下可实现全局收敛。
• 即使步长αᵏ趋于零，该方法仍被证明可实现全局收敛，但此类自适应设置下的收敛性仍为开放问题。