[論文レビュー] Non-stationary Anderson acceleration with optimized damping

Kewang Chen, C. Vuik|arXiv (Cornell University)|Feb 10, 2022

Numerical methods for differential equations被引用数 7

ひとこと要約

本稿では、収束速度を向上させるために各反復で低コストの最適化により動的に計算される減衰係数 βₖ を用いる非定常Anderson加速（AAoptD）を提案する。この手法は、固定された減衰係数または無減衰の定常AAよりも優れている。特に大規模なウィンドウサイズの場合、最適な βₖ 選択により sAA(m) と sAA(1) の動作を適応的に組み合わせることで、収束速度が向上する。

ABSTRACT

Anderson acceleration (AA) has a long history of use and a strong recent interest due to its potential ability to dramatically improve the linear convergence of the fixed-point iteration. Most authors are simply using and analyzing the stationary version of Anderson acceleration (sAA) with a constant damping factor or without damping. Little attention has been paid to nonstationary algorithms. However, damping can be useful and is sometimes crucial for simulations in which the underlying fixed-point operator is not globally contractive. The role of this damping factor has not been fully understood. In the present work, we consider the non-stationary Anderson acceleration algorithm with optimized damping (AAoptD) in each iteration to further speed up linear and nonlinear iterations by applying one extra inexpensive optimization. We analyze this procedure and develop an efficient and inexpensive implementation scheme. We also show that, compared with the stationary Anderson acceleration with fixed window size sAA(m), optimizing the damping factors is related to dynamically packaging sAA(m) and sAA(1) in each iteration (alternating window size $m$ is another direction of producing non-stationary AA). Moreover, we show by extensive numerical experiments that the proposed non-stationary Anderson acceleration with optimized damping procedure often converges much faster than stationary AA with constant damping or without damping.

研究の動機と目的

• 非収縮的または悪条件の固定点問題において、定数または固定された減衰係数を用いる定常Anderson加速（sAA）の有効性が限られているという問題に対処すること。
• 各反復で減衰係数 βₖ を最適化する非定常AAの変種を開発し、収束速度とロバスト性を向上させること。
• 非定常AAにおける最適化された減衰係数と動的ウィンドウサイズの適応戦略との関係を分析すること。
• QR分解を用いた効率的で低コストの最適化手順の実装を提供すること。

提案手法

• 各反復で不等式制約のない最小二乗最適化により βₖ を計算する非定常Anderson加速アルゴリズムAAoptDを導入する。
• AAサブ問題の同等な定式化を用いる：最小化 ‖fₖ + Σᵢ₌₁^{mₖ} ωᵢ(fₖ₋ᵢ − fₖ)‖₂ を最適係数を計算するために用いる。
• QR分解を適用して βₖ の最適化サブ問題を効率的に解き、計算効率を確保する。
• 残差ノルムを最小化しつつ凸結合制約を満たすように、最適な βₖ を導出する。
• 動的減衰調整により sAA(m) と sAA(1) の利点を組み合わせ、両戦略のハイブリッドを効果的に実現する。
• 過大減衰のシステムにおける不安定性や発散を防ぐために、βₖ がゼロから離れるように制限を設ける。

Figure 1 : Compare AA and AoptD for solving nonlinear Bratu problems.

実験結果

リサーチクエスチョン

• RQ1 各反復で減衰係数 βₖ を最適化することで、固定または定常的な減衰係数と比較してAnderson加速の収束速度にどのような影響を与えるか？
• RQ2 非定常AAにおける最適化された βₖ とAAにおける動的ウィンドウサイズ戦略との関係は何か？
• RQ3 特にウィンドウサイズ m が大きい場合に、AAoptDは固定ウィンドウサイズ m を用いた定常AAを顕著に上回るのか？
• RQ4 βₖ が小さすぎる（過大減衰）場合の安定性のトレードオフは何か？ そして、それらの問題はどのように緩和できるか？
• RQ5 AAoptDは、特に臨界パラメータ値における非線形問題（例：Chandrasekhar H方程式）において、性能を維持または向上させるのか？

主な発見

• 大規模なウィンドウサイズ（例：m=25）の場合、AAoptD(5) は AA(25) よりも著しく高速に収束し、顕著な性能向上を示す。
• m ≤ 3 の場合、AAoptD と標準AAは同等の性能を示す。これは、sAA(m) と sAA(1) の差が小さいためである。
• n=100 の線形問題において、AAoptD(5) は AA(25) を上回る。これは、最適化された減衰係数が大規模なウィンドウサイズの必要性を低減できることを示唆する。
• c=1（臨界ケース）のChandrasekhar H方程式において、AAoptD(1) は標準AA(1)が失敗するのに対し、正常に収束する。これは、ロバスト性の向上を示している。
• 過大減衰（βₖ がゼロに近すぎる）は不安定性と一貫性のない収束を引き起こす。βₖ をゼロから離れるように制限することで、この問題は解消される。
• βₖ の最適化にかかる計算コストは低く、AAフレームワーク内で既存のQR分解を活用しており、追加で2回の関数評価のみが必要である。

Figure 2 : Optimal damping factors in each iteration for $m=10$ .