[논문 리뷰] Convergence analysis of adaptive DIIS algorithms with application to electronic ground state calculations

Maxime Chupin, Mi-Song Dupuy외 2명|arXiv (Cornell University)|2020. 02. 28.

Numerical methods for differential equations참고 문헌 67인용 수 22

한 줄 요약

이 논문은 자가일致장 계산에서 수렴성을 향상시키기 위해 저장된 반복값의 수를 동적으로 조정하는 두 가지 적응형 깊이 전략—재시작 기반 및 연속 적응형—을 제안한다. 저자들은 추외 계수의 유계성 조건을 필요로 하지 않고 국소 초선형 수렴을 증명하였으며, 수치 결과는 두 변종 모두 고정 깊이 방법보다 평균 계산 비용이 낮게 성능이 뛰어남을 보여준다.

ABSTRACT

This paper deals with a general class of algorithms for the solution of fixed-point problems that we refer to as \\emph{Anderson--Pulay acceleration}. This family includes the DIIS technique and its variant sometimes called commutator-DIIS, both introduced by Pulay in the 1980s to accelerate the convergence of self-consistent field procedures in quantum chemistry, as well as the related Anderson acceleration which dates back to the 1960s, and the wealth of techniques they have inspired. Such methods aim at accelerating the convergence of any fixed-point iteration method by combining several iterates in order to generate the next one at each step. This extrapolation process is characterised by its \\emph{depth}, i.e. the number of previous iterates stored, which is a crucial parameter for the efficiency of the method. It is generally fixed to an empirical value. In the present work, we consider two parameter-driven mechanisms to let the depth vary along the iterations. In the first one, the depth grows until a certain nondegeneracy condition is no longer satisfied; then the stored iterates (save for the last one) are discarded and the method "restarts". In the second one, we adapt the depth continuously by eliminating at each step some of the oldest, less relevant, iterates. In an abstract and general setting, we prove under natural assumptions the local convergence and acceleration of these two adaptive Anderson--Pulay methods, and we show that one can theoretically achieve a superlinear convergence rate with each of them. We then investigate their behaviour in quantum chemistry calculations. These numerical experiments show that both adaptive variants exhibit a faster convergence than a standard fixed-depth scheme, and require on average less computational effort per iteration. This study is complemented by a review of known facts on the DIIS, in particular its link with the Anderson acceleration and some multisecant-type quasi-Newton methods.

연구 동기 및 목표

• 고정 깊이 DIIS 및 Anderson 가속의 비최적 성능 문제를 해결하기 위해.
• 반복 과정에서 저장된 반복값의 수(깊이)를 동적으로 조정하는 적응 메커니즘을 개발하여 수렴 속도를 향상시키기 위해.
• 이전 연구보다 더 약한 가정 조건 하에서도 적응형 Anderson–Pulay 방법에 대한 엄밀한 이론적 수렴 분석을 제공하기 위해.
• 수치 실험을 통해 적응형 깊이가 고정 깊이 방법에 비해 더 빠른 수렴과 더 낮은 평균 계산 비용을 제공함을 입증하기 위해.
• DIIS, CDIIS 및 Anderson 가속 간의 이론적 연관성을 통합된 프레임워크 내에서 명확히 하기 위해.

제안 방법

• 비퇴사성 조건이 실패할 경우 오래된 반복값을 기각하여 기존 역사를 재시작하는 재시작 기반 적응형 깊이 메커니즘을 제안한다.
• 새로운 기준에 따라 각 단계에서 가장 오래되고 덜 관련성이 있는 반복값을 제거하는 새로운 연속 적응형 깊이 전략을 도입한다.
• 두 방법 모두 추상적 고정점 설정에서 분석하여 더 약한 가정 하에 국소 수렴성과 가속성을 증명한다.
• 적응 메커니즘을 알고리즘에 직접 통합함으로써 외부에서 유도된 유계성 가정에 의존하지 않고도 추외 계수에 대한 사전 경계를 확립한다.
• 시험 케이스로 분자 시스템을 사용하여 양자 화학에서 자가일치장(SCF) 계산에 이 방법들을 적용한다.
• 최소 제곱 기반의 일반화된 잔차 최소화 프레임워크를 사용하여 추외 계수를 유도하며, 깊이 제어를 계수 계산 과정에 통합한다.

실험 결과

연구 질문

• RQ1 Anderson–Pulay 가속 방법에서 적응형 깊이 제어가 전자 구조 계산에서 고정 깊이 방법보다 더 빠른 수렴을 이끌 수 있는가?
• RQ2 제안된 적응 메커니즘이 최소 제곱 문제에서 선형 종속성으로 인한 수치적 불안정성을 피하면서 이론적 수렴을 보장하는가?
• RQ3 수렴 속도와 계산 비용 측면에서 적응형 방법은 표준 DIIS 및 Anderson 가속과 비교해 어떻게 성능을 냈는가?
• RQ4 적응형 깊이 메커니즘이 전통적인 '경험 법칙' 기반 값에 비해 평균 저장 반복값 수에 어떤 영향을 미치는가?
• RQ5 더 약한 비퇴사성 및 유계성 가정 하에서도 이론적 수렴 보장 조건을 DIIS 및 CDIIS 방법으로 확장할 수 있는가?

주요 결과

• 적응형 깊이 메커니즘은 추외 계수의 사전 유계성 조건 없이 국소 초선형 수렴을 보장한다.
• 재시작 기반 및 연속 적응형 두 변종 모두 전자 기초 상태 계산에서 고정 깊이 대비 더 빠른 수렴을 달성한다.
• 특히 적응형 깊이 변종은 실질적으로 가장 효율적일 수 있음을 시사한다.
• 수치 실험 결과, 평균 저장 반복값 수가 표준 구현에서 흔히 사용하는 고정 값보다 크게 낮게 나타났다.
• 적응 매개변수(τ 및 δ)를 작게 조정할수록 수렴 속도가 향상되나, 일정 수준 이하에서는 수익 감소 현상이 관찰되며, 최적 성능은 10−4에서 나타났다.
• 이론적 추정치보다 수개의 주기수 큰 매개변수 값에서도 메서드가 여전히 효과를 발휘함을 통해 실용적 내구성을 입증하였다.