[论文解读] A proof that Anderson acceleration improves the convergence rate in linearly converging fixed point methods (but not in those converging quadratically)

Claire Evans, Sara Pollock+2 more|arXiv (Cornell University)|Oct 19, 2018

Matrix Theory and Algorithms参考文献 16被引用 4

一句话总结

本文首次提供了严格的证明，表明Anderson加速（AA）在每一步通过优化收益使不动点迭代的线性收敛速率提升一个因子，同时表明由于主导的二次误差项，它在具有二次收敛性的方法中无法改善收敛性。该分析表明，通过基于希尔伯特空间的残差与迭代值差值关系，AA在具有线性收敛性的设定下可同时提升收敛速度与收敛半径。

ABSTRACT

This paper provides the first proof that Anderson acceleration (AA) improves the convergence rate of general fixed point iterations. AA has been used for decades to speed up nonlinear solvers in many applications, however a rigorous mathematical justification of the improved convergence rate has remained lacking. The key ideas of the analysis presented here are relating the difference of consecutive iterates to residuals based on performing the inner-optimization in a Hilbert space setting, and explicitly defining the gain in the optimization stage to be the ratio of improvement over a step of the unaccelerated fixed point iteration. The main result we prove is that AA improves the convergence rate of a fixed point iteration to first order by a factor of the gain at each step. In addition to improving the convergence rate, our results indicate that AA increases the radius of convergence. Lastly, our estimate shows that while the linear convergence rate is improved, additional quadratic terms arise in the estimate, which shows why AA does not typically improve convergence in quadratically converging fixed point iterations. Results of several numerical tests are given which illustrate the theory.

研究动机与目标

• 弥合理论空白，解释为何Anderson加速（AA）在实践中始终改善收敛性，尽管此前缺乏对收敛速率提升的严格理论依据。
• 证明AA通过与每一步优化收益相关的因子，提升不动点迭代的线性收敛速率。
• 从理论上解释为何AA在具有二次收敛性的不动点方法中无法改善收敛性。
• 证明AA与阻尼均可扩展收敛半径，使在不动点算子非全局压缩的区域也能实现收敛。
• 基于希尔伯特空间分析，建立迭代值差与残差之间的理论框架，实现收敛速率的精确估计。

提出的方法

• 该方法采用希尔伯特空间设定，分析AA中的内部优化，将连续迭代值的差异与残差关联。
• 将优化收益θₖ定义为优化目标与标准不动点迭代目标之比。
• 收敛速率推导为θₖ((1−βₖ₋₁)+κβₖ₋₁)‖wₖ‖，其中κ为原始线性收敛速率，βₖ₋₁为阻尼参数。
• 通过展开残差误差并显式引入优化收益，表明存在一阶改善及高阶二次项。
• 利用假设3.1与3.2控制误差传播，确保在压缩条件下收敛。
• 提出自适应阻尼策略βₐdₐₚₜ = 1−θₖ/2，当θₖ较大时稳定收敛。

实验结果

研究问题

• RQ1 Anderson加速是否在具有线性收敛性的不动点迭代中，可严格证明改善收敛速率？
• RQ2 为何Anderson加速在具有二次收敛性的不动点方法中无法改善收敛性？
• RQ3 Anderson加速能否将收敛半径扩展至不动点算子的压缩域之外？
• RQ4 优化收益θₖ如何影响AA中的有效收敛速率？
• RQ5 当优化收益θₖ接近1时，阻尼在稳定和提升AA收敛性方面发挥何种作用？

主要发现

• Anderson加速通过每一步的优化收益θₖ，将线性收敛速率提升一个因子，新收敛速率为θₖ((1−βₖ₋₁)+κβₖ₋₁)‖wₖ‖。
• 该方法引入了额外的二次误差项，这解释了为何它在具有二次收敛性的不动点迭代中无法改善收敛性。
• AA与阻尼均可扩展收敛半径，使即使在不动点算子非全局压缩时也能实现收敛。
• 数值实验表明，理论收敛速率估计与实际观测行为一致，尤其在具有线性收敛性的问题中表现良好。
• 自适应阻尼策略βₐdₐₚₜ = 1−θₖ/2在θₖ较大时有效降低一阶系数，提升稳定性。
• 分析表明，阻尼对收敛速率的一阶影响与标准不动点迭代一致，但优化收益θₖ会改变AA中的有效收敛速率。