[논문 리뷰] A proof that Anderson acceleration improves the convergence rate in linearly converging fixed point methods (but not in those converging quadratically)

Claire Evans, Sara Pollock외 2명|arXiv (Cornell University)|2018. 10. 19.

Matrix Theory and Algorithms참고 문헌 16인용 수 4

한 줄 요약

이 논문은 고정점 반복법에서 앤더슨 가속(Anderson acceleration, AA)이 각 단계에서 최적화 이득에 해당하는 인자만큼 선형 수렴 속도를 향상시킨다는 엄밀한 증명을 처음으로 제시한다. 이와 동시에 AA가 주로 제곱수 수렴하는 방법에서는 지배적인 제곱수 오차 항으로 인해 수렴을 향상시키지 못함을 보여준다. 분석을 통해 Hilbert 공간 기반 잔차와 반복값 차이 간의 관계를 이용해, 선형 수렴 설정에서 수렴 속도와 수렴 반경을 모두 향상시킬 수 있음을 입증한다.

ABSTRACT

This paper provides the first proof that Anderson acceleration (AA) improves the convergence rate of general fixed point iterations. AA has been used for decades to speed up nonlinear solvers in many applications, however a rigorous mathematical justification of the improved convergence rate has remained lacking. The key ideas of the analysis presented here are relating the difference of consecutive iterates to residuals based on performing the inner-optimization in a Hilbert space setting, and explicitly defining the gain in the optimization stage to be the ratio of improvement over a step of the unaccelerated fixed point iteration. The main result we prove is that AA improves the convergence rate of a fixed point iteration to first order by a factor of the gain at each step. In addition to improving the convergence rate, our results indicate that AA increases the radius of convergence. Lastly, our estimate shows that while the linear convergence rate is improved, additional quadratic terms arise in the estimate, which shows why AA does not typically improve convergence in quadratically converging fixed point iterations. Results of several numerical tests are given which illustrate the theory.

연구 동기 및 목표

• 앤더슨 가속(Anderson acceleration, AA)이 실무에서 일관되게 수렴을 향상시키지만, 수렴 속도 향상에 대한 엄밀한 이론적 근거가 부족한 상황에서 이 이론적 격차를 메우기 위해.
• AA가 각 단계에서 최적화 이득과 연결된 인자에 의해 고정점 반복의 선형 수렴 속도를 향상시킨다는 것을 증명하기 위해.
• AA가 제곱수 수렴하는 고정점 방법에서는 수렴을 향상시키지 못하는 이유를 이론적으로 설명하기 위해.
• AA와 덤핑(damping)이 모두 수렴 반경을 증가시켜 수축 조건이 성립하지 않는 영역에서도 수렴 가능하게 한다는 것을 보여주기 위해.
• Hilbert 공간 분석을 이용한 이론적 프레임워크를 제공하여 반복값 차이와 잔차 간의 관계를 설정하고, 정확한 수렴 속도 추정을 가능하게 하기 위해.

제안 방법

• AA의 내부 최적화를 분석하기 위해 Hilbert 공간 설정을 사용하며, 연속된 반복값 간의 차이를 잔차와 연결한다.
• 최적화 이득 θₖ를 표준 고정점 반복법의 목적 함수 값에 대한 최적화된 목적 함수 값의 비율로 정의한다.
• 수렴 속도는 θₖ((1−βₖ₋₁)+κβₖ₋₁)‖wₖ‖로 유도되며, 여기서 κ는 원래의 선형 수렴 속도이고 βₖ₋₁는 덤핑 매개변수이다.
• 잔차 오차를 확장하고 최적화에서 얻는 이득을 명시적으로 고려하여 일차 항의 향상과 고차항의 제곱수 항을 보여준다.
• 오차 전파를 제한하기 위해 가정 3.1과 3.2를 사용하여 수축 조건 하에서 수렴을 보장한다.
• θₖ가 클 경우 수렴을 안정화시키기 위해 적응형 덤핑 전략 βₐdₐₚₜ = 1−θₖ/2을 제안한다.

실험 결과

연구 질문

• RQ1 앤더슨 가속은 선형 수렴 설정에서 고정점 반복의 수렴 속도를 엄밀히 향상시키는가?
• RQ2 왜 앤더슨 가속은 제곱수 수렴하는 고정점 반복 방법에서는 수렴을 향상시키지 못하는가?
• RQ3 앤더슨 가속은 고정점 연산자의 수축 영역을 초월해 수렴 반경을 확장할 수 있는가?
• RQ4 최적화 이득 θₖ는 앤더슨 가속에서 효과적인 수렴 속도에 어떻게 영향을 미치는가?
• RQ5 덤핑은 특히 θₖ가 1에 가까워질 경우 수렴을 안정화하고 향상시키는 데 어떤 역할을 하는가?

주요 결과

• 앤더슨 가속은 각 단계에서 최적화 이득 θₖ에 해당하는 인자만큼 선형 수렴 속도를 향상시키며, 이로 인해 새로운 수렴 속도가 θₖ((1−βₖ₋₁)+κβₖ₋₁)‖wₖ‖가 된다.
• 이 방법은 추가적인 제곱수 오차 항을 도입하며, 이는 AA가 제곱수 수렴하는 고정점 반복법에서는 수렴을 향상시키지 못하는 이유를 설명한다.
• AA와 덤핑 모두 수렴 반경을 증가시켜, 고정점 연산자가 전역적으로 수축적이지 않더라도 수렴 가능하게 한다.
• 수치 실험을 통해 이론적 수렴 속도 추정치가 관측된 행동과 일치함을 확인하였으며, 특히 선형 수렴 문제에서 뚜렷하게 나타난다.
• 적응형 덤핑 전략 βₐdₐₚₜ = 1−θₖ/2는 θₖ가 클 경우 일차 계수를 효과적으로 감소시켜 안정성을 향상시킨다.
• 분석을 통해 덤핑의 일차 효과는 표준 고정점 반복법과 일치하지만, 최적화 이득 θₖ는 AA에서 효과적인 수렴 속도를 수정한다.