[論文レビュー] A proof that Anderson acceleration improves the convergence rate in linearly converging fixed point methods (but not in those converging quadratically)

Claire Evans, Sara Pollock+2 more|arXiv (Cornell University)|Oct 19, 2018

Matrix Theory and Algorithms参考文献 16被引用数 4

ひとこと要約

本稿は、固定点反復法におけるアンダーソン加速（AA）が、各ステップにおける最適化利得に等しい要因で線形収束速度を向上させることを、初めて厳密に証明している。一方で、支配的となる2次誤差項のため、2次収束する手法では収束を改善しないことも示している。解析により、ヒルバート空間に基づく残差と反復値の差の関係を用いることで、線形収束設定において収束速度と収束半径の両方を向上させることを確立している。

ABSTRACT

This paper provides the first proof that Anderson acceleration (AA) improves the convergence rate of general fixed point iterations. AA has been used for decades to speed up nonlinear solvers in many applications, however a rigorous mathematical justification of the improved convergence rate has remained lacking. The key ideas of the analysis presented here are relating the difference of consecutive iterates to residuals based on performing the inner-optimization in a Hilbert space setting, and explicitly defining the gain in the optimization stage to be the ratio of improvement over a step of the unaccelerated fixed point iteration. The main result we prove is that AA improves the convergence rate of a fixed point iteration to first order by a factor of the gain at each step. In addition to improving the convergence rate, our results indicate that AA increases the radius of convergence. Lastly, our estimate shows that while the linear convergence rate is improved, additional quadratic terms arise in the estimate, which shows why AA does not typically improve convergence in quadratically converging fixed point iterations. Results of several numerical tests are given which illustrate the theory.

研究の動機と目的

• アンダーソン加速（AA）が実際には一貫して収束を改善するが、収束速度の向上についての厳密な理論的裏付けが欠けているという理論的ギャップを埋めること。
• AAが各ステップにおける最適化利得に依存する要因で、固定点反復の線形収束速度を向上させることを証明すること。
• AAが2次収束する固定点反復法では収束を改善しない理由を理論的に説明すること。
• AAとダミングの両方が収束半径を拡大し、収縮的領域外でも収束を可能にすることを示すこと。
• ヒルバート空間解析を用いた理論的枠組みを提供し、反復値の差と残差を関連づけることで、収束速度の正確な推定を可能にすること。

提案手法

• AAにおける内部最適化を解析するため、ヒルバート空間設定を採用し、連続する反復値の差を残差に関連づける。
• 最適化利得 θₖ を、最適化された目的関数と標準的固定点反復の目的関数との比として定義する。
• 収束速度は θₖ((1−βₖ₋₁)+κβₖ₋₁)‖wₖ‖ として導出され、ここで κ は元の線形収束率、βₖ₋₁ はダミングパラメータである。
• 残差誤差を展開し、最適化による利得を明示的に取り入れることで、1次改善と高次項の2次誤差項を示している。
• 誤差伝搬を制御するため、仮定3.1および3.2を用い、収縮的条件下での収束を保証している。
• θₖ が大きい場合に収束を安定化させるため、適応的ダミング戦略 βₐdₐₚₜ = 1−θₖ/2 を提案している。

実験結果

リサーチクエスチョン

• RQ1 アンダーソン加速は、線形収束する固定点反復設定において、収束速度を実際に向上させるか？
• RQ2 なぜアンダーソン加速は2次収束する固定点反復法では収束を改善しないのか？
• RQ3 アンダーソン加速は、固定点作用素の収縮的領域を越えて収束半径を拡大できるか？
• RQ4 最適化利得 θₖ は、AAにおける有効収束速度にどのように影響するか？
• RQ5 θₖ が1に近い場合に、ダミングはAAの収束を安定化・向上させる役割を果たすか？

主な発見

• アンダーソン加速は、各ステップにおける最適化利得 θₖ に等しい要因で線形収束速度を向上させ、新たな収束率として θₖ((1−βₖ₋₁)+κβₖ₋₁)‖wₖ‖ を得る。
• 本手法は追加の2次誤差項を導入しており、これが2次収束する固定点反復法では収束を改善しない理由を説明している。
• アンダーソン加速とダミングの両方が収束半径を拡大し、固定点作用素がグローバルに収縮的でない場合でも収束を可能にする。
• 数値実験により、理論的収束速度推定値が観察された挙動と一致しており、特に線形収束問題において顕著である。
• 適応的ダミング戦略 βₐdₐₚₜ = 1−θₖ/2 は、θₖ が大きい場合に1次係数を効果的に低減し、安定性を向上させる。
• 解析により、ダミングの1次的効果は標準的固定点反復と一致するが、利得 θₖ がAAにおける有効収束速度を変更していることが示された。