[论文解读] Non-stationary Anderson acceleration with optimized damping

Kewang Chen, C. Vuik|arXiv (Cornell University)|Feb 10, 2022

Numerical methods for differential equations被引用 7

一句话总结

本文提出非平稳Anderson加速方法（AAoptD），通过在每次迭代中动态计算最优阻尼因子βₖ，以提升收敛速度。该方法通过最优βₖ选择，自适应地结合sAA(m)与sAA(1)的行为，显著优于固定阻尼或无阻尼的平稳AA方法，尤其在窗口大小较大时表现更优。

ABSTRACT

Anderson acceleration (AA) has a long history of use and a strong recent interest due to its potential ability to dramatically improve the linear convergence of the fixed-point iteration. Most authors are simply using and analyzing the stationary version of Anderson acceleration (sAA) with a constant damping factor or without damping. Little attention has been paid to nonstationary algorithms. However, damping can be useful and is sometimes crucial for simulations in which the underlying fixed-point operator is not globally contractive. The role of this damping factor has not been fully understood. In the present work, we consider the non-stationary Anderson acceleration algorithm with optimized damping (AAoptD) in each iteration to further speed up linear and nonlinear iterations by applying one extra inexpensive optimization. We analyze this procedure and develop an efficient and inexpensive implementation scheme. We also show that, compared with the stationary Anderson acceleration with fixed window size sAA(m), optimizing the damping factors is related to dynamically packaging sAA(m) and sAA(1) in each iteration (alternating window size $m$ is another direction of producing non-stationary AA). Moreover, we show by extensive numerical experiments that the proposed non-stationary Anderson acceleration with optimized damping procedure often converges much faster than stationary AA with constant damping or without damping.

研究动机与目标

• 解决在非收缩或病态固定点问题中，采用恒定或固定阻尼的平稳Anderson加速（sAA）效果有限的问题。
• 开发一种非平稳AA变体，通过在每次迭代中优化阻尼因子βₖ，以提升收敛速度与鲁棒性。
• 分析非平稳AA中优化阻尼与动态窗口大小自适应之间的关联。
• 利用QR分解实现高效、低成本的优化阻尼过程。

提出的方法

• 提出AAoptD，一种非平稳Anderson加速算法，其中阻尼因子βₖ通过每次迭代的无约束最小二乘优化计算得出。
• 采用AA子问题的等价形式：最小化‖fₖ + Σᵢ₌₁^{mₖ} ωᵢ(fₖ₋ᵢ − fₖ)‖₂，以计算最优系数。
• 利用QR分解高效求解βₖ的优化子问题，确保计算效率。
• 通过在保持凸组合约束的前提下最小化残差范数，推导出最优βₖ。
• 通过动态调整阻尼，有效结合sAA(m)与sAA(1)的优势，实现两种策略的混合。
• 对βₖ施加远离零的边界，以防止在过度阻尼系统中出现不稳定与发散。

Figure 1 : Compare AA and AoptD for solving nonlinear Bratu problems.

实验结果

研究问题

• RQ1 在每次迭代中优化阻尼因子βₖ，相较于固定或恒定阻尼，对Anderson加速收敛速度有何影响？
• RQ2 非平稳AA中采用优化βₖ与AA中动态窗口大小策略之间存在何种关系？
• RQ3 AAoptD能否在窗口大小m较大时显著优于具有固定窗口大小m的平稳AA？
• RQ4 当βₖ过小（过度阻尼）时，稳定性存在何种权衡？如何缓解此类问题？
• RQ5 在临界参数值下，AAoptD是否能保持或提升非线性问题（如Chandrasekhar H-方程）的性能？

主要发现

• 对于大窗口尺寸（如m=25），AAoptD(5)的收敛速度显著快于AA(25)，表现出显著的性能提升。
• 当m ≤ 3时，AAoptD与标准AA性能相当，因为sAA(m)与sAA(1)之间的差异可忽略。
• 在n=100的线性问题中，AAoptD(5)优于AA(25)，表明优化阻尼可减少对大窗口尺寸的需求。
• 在c=1（临界情况）的Chandrasekhar H-方程中，AAoptD(1)成功收敛，而标准AA(1)失败，表明其鲁棒性显著提升。
• 过度阻尼（βₖ过于接近零）会导致不稳定与收敛不一致；通过将βₖ与零保持距离可有效解决此问题。
• 优化βₖ的计算成本较低，因其利用了AA框架中已有的QR分解，仅需额外两次函数评估。

Figure 2 : Optimal damping factors in each iteration for $m=10$ .