[논문 리뷰] Non-stationary Anderson acceleration with optimized damping

Kewang Chen, C. Vuik|arXiv (Cornell University)|2022. 02. 10.

Numerical methods for differential equations인용 수 7

한 줄 요약

이 논문은 수렴 속도를 향상시키기 위해 각 반복에서 저비용 최적화를 통해 동적으로 계산되는 최적화된 감쇠 인자 βₖ를 사용하는 비정상 Anderson 가속화(AAoptD)를 제안한다. 이 방법은 고정된 감쇠 또는 감쇠 없이 정상적인 AA보다 더 빠른 수렴을 보이며, 특히 큰 윈도우 크기에서 sAA(m)와 sAA(1)의 특성을 최적의 βₖ 선택을 통해 적응적으로 조합함으로써 성능을 향상시킨다.

ABSTRACT

Anderson acceleration (AA) has a long history of use and a strong recent interest due to its potential ability to dramatically improve the linear convergence of the fixed-point iteration. Most authors are simply using and analyzing the stationary version of Anderson acceleration (sAA) with a constant damping factor or without damping. Little attention has been paid to nonstationary algorithms. However, damping can be useful and is sometimes crucial for simulations in which the underlying fixed-point operator is not globally contractive. The role of this damping factor has not been fully understood. In the present work, we consider the non-stationary Anderson acceleration algorithm with optimized damping (AAoptD) in each iteration to further speed up linear and nonlinear iterations by applying one extra inexpensive optimization. We analyze this procedure and develop an efficient and inexpensive implementation scheme. We also show that, compared with the stationary Anderson acceleration with fixed window size sAA(m), optimizing the damping factors is related to dynamically packaging sAA(m) and sAA(1) in each iteration (alternating window size $m$ is another direction of producing non-stationary AA). Moreover, we show by extensive numerical experiments that the proposed non-stationary Anderson acceleration with optimized damping procedure often converges much faster than stationary AA with constant damping or without damping.

연구 동기 및 목표

• 비수렴성 또는 악조건의 고정점 문제에서 일정하거나 고정된 감쇠를 사용하는 정상 Anderson 가속화(sAA)의 효과가 제한적인 문제를 해결하기 위해.
• 각 반복에서 감쇠 인자 βₖ를 최적화하여 수렴 속도와 안정성을 향상시키는 비정상 AA 변종을 개발하기 위해.
• 비정상 AA에서 최적화된 감쇠와 동적 윈도우 크기 적응 전략 간의 관계를 분석하기 위해.
• QR 분해를 사용하여 효율적이고 저비용으로 최적화된 감쇠 절차를 구현하기 위해.

제안 방법

• 각 반복에서 비제약 최소제곱 최적화를 통해 감쇠 인자 βₖ를 계산하는 비정상 Anderson 가속화 알고리즘인 AAoptD를 도입한다.
• AA 하위 문제의 등가 표현을 사용: 최소화 ‖fₖ + Σᵢ₌₁^{mₖ} ωᵢ(fₖ₋ᵢ − fₖ)‖₂ 를 통해 최적의 계수를 계산한다.
• βₖ의 최적화 하위 문제를 효율적으로 해결하기 위해 QR 분해를 적용하여 계산 효율성을 확보한다.
• 잔차 노름을 최소화하면서도 볼록 조합 제약 조건을 유지하는 방식으로 최적의 βₖ를 유도한다.
• 감쇠를 동적으로 조정함으로써 sAA(m)와 sAA(1)의 장점을 융합하여, 두 전략의 하이브리드를 효과적으로 생성한다.
• 과감쇠 시스템에서의 불안정성과 발산을 방지하기 위해 βₖ가 0에서 멀리 떨어져 있도록 제한을 적용한다.

Figure 1 : Compare AA and AoptD for solving nonlinear Bratu problems.

실험 결과

연구 질문

• RQ1 각 반복에서 감쇠 인자 βₖ를 최적화하는 것이 고정 또는 일정한 감쇠와 비교해 Anderson 가속화의 수렴 속도에 어떤 영향을 미치는가?
• RQ2 최적화된 βₖ를 갖는 비정상 AA와 AA에서의 동적 윈도우 크기 전략 간의 관계는 무엇인가?
• RQ3 특히 윈도우 크기 m 이 클 경우, AAoptD는 고정 윈도우 크기 m 을 갖는 정상 AA를 상당히 능가할 수 있는가?
• RQ4 βₖ가 너무 작을 경우(과감쇠) 발생하는 안정성의 상충 관계는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ5 특수 매개변수 값에서 특히 비선형 문제인 Chandrasekhar H-방정식에서 AAoptD는 성능을 유지하거나 향상시키는가?

주요 결과

• 큰 윈도우 크기(예: m=25)에서 AAoptD(5)는 AA(25)보다 상당히 더 빠르게 수렴함을 보이며, 뚜렷한 성능 향상을 입증한다.
• m ≤ 3 인 경우, AAoptD와 표준 AA는 유사한 성능을 보이며, 이는 sAA(m)와 sAA(1) 간의 차이가 미미하기 때문이다.
• n=100 선형 문제에서 AAoptD(5)는 AA(25)를 능가함을 보이며, 최적화된 감쇠가 큰 윈도우 크기의 필요성을 줄일 수 있음을 시사한다.
• c=1(비판적 경우)인 Chandrasekhar H-방정식에서, 표준 AA(1)가 실패하는 상황에서도 AAoptD(1)는 성공적으로 수렴함을 보이며, 더 뛰어난 안정성을 입증한다.
• 과감쇠(βₖ가 0에 너무 가까움)는 불안정성과 일관되지 않은 수렴을 유도하지만, βₖ를 0에서 멀리 떨어지도록 제한함으로써 이 문제를 해결할 수 있다.
• βₖ 최적화의 계산 비용은 낮으며, AA 프레임워크 내에서 기존의 QR 분해를 활용하기에 추가로 두 번의 함수 평가만 추가로 필요하다.

Figure 2 : Optimal damping factors in each iteration for $m=10$ .