[論文レビュー] Convergence analysis of adaptive DIIS algorithms with application to electronic ground state calculations

Maxime Chupin, Mi-Song Dupuy+2 more|arXiv (Cornell University)|Feb 28, 2020

Numerical methods for differential equations参考文献 67被引用数 22

ひとこと要約

本稿では、Anderson–Pulay加速法における2つの適応的深さ戦略——リスタートベースと連続的適応——を提案する。これらは、自己無撞着場計算における収束を向上させるために、保存される反復回数を動的に調整する。著者らは、補外係数が有界であることを仮定しない局所的超線形収束を証明し、数値結果から両方の変種が固定深さ方式を上回り、平均計算コストが低いことが示された。

ABSTRACT

This paper deals with a general class of algorithms for the solution of fixed-point problems that we refer to as \\emph{Anderson--Pulay acceleration}. This family includes the DIIS technique and its variant sometimes called commutator-DIIS, both introduced by Pulay in the 1980s to accelerate the convergence of self-consistent field procedures in quantum chemistry, as well as the related Anderson acceleration which dates back to the 1960s, and the wealth of techniques they have inspired. Such methods aim at accelerating the convergence of any fixed-point iteration method by combining several iterates in order to generate the next one at each step. This extrapolation process is characterised by its \\emph{depth}, i.e. the number of previous iterates stored, which is a crucial parameter for the efficiency of the method. It is generally fixed to an empirical value. In the present work, we consider two parameter-driven mechanisms to let the depth vary along the iterations. In the first one, the depth grows until a certain nondegeneracy condition is no longer satisfied; then the stored iterates (save for the last one) are discarded and the method "restarts". In the second one, we adapt the depth continuously by eliminating at each step some of the oldest, less relevant, iterates. In an abstract and general setting, we prove under natural assumptions the local convergence and acceleration of these two adaptive Anderson--Pulay methods, and we show that one can theoretically achieve a superlinear convergence rate with each of them. We then investigate their behaviour in quantum chemistry calculations. These numerical experiments show that both adaptive variants exhibit a faster convergence than a standard fixed-depth scheme, and require on average less computational effort per iteration. This study is complemented by a review of known facts on the DIIS, in particular its link with the Anderson acceleration and some multisecant-type quasi-Newton methods.

研究の動機と目的

• 固定深さ DIIS および Anderson 加速法の性能が最適でない問題に対処すること。
• 反復中に深さ（保存される反復回数）を動的に調整する適応的メカニズムを構築し、収束速度を向上させること。
• 先行研究よりも弱い仮定の下で、適応的 Anderson–Pulay 法の厳密な理論的収束解析を提供すること。
• 数値実験を通じて、適応的深さが固定深さ方式に比べてより速い収束と低い平均計算コストを実現することを示すこと。
• DIIS、CDIIS、Anderson 加速法を統一的な枠組みで結びつける理論的関係を明確にすること。

提案手法

• 非退化性条件が満たされない場合に古い反復を破棄するリスタートベースの適応的深さメカニズムを提案する。これにより、履歴が効果的にリセットされる。
• 新しい基準に基づき、各ステップで最も古く、最も関連性の低い反復を削除する、独創的な連続的適応的深さ戦略を導入する。
• 両手法を抽象的な不動点設定で分析し、弱められた仮定の下で局所的収束と加速を証明する。
• 適応的メカニズムをアルゴリズムに直接埋め込むことで、事後的な有界性仮定に依存しない、補外係数の事前評価を確立する。
• 分子系をテストケースとして用い、量子化学における自己無撞着場（SCF）計算にこれらの手法を適用する。
• 一般化された残差最小化フレームワークを用いて、最小二乗法により補外係数を導出し、深さ制御を係数計算に統合する。

実験結果

リサーチクエスチョン

• RQ1 Anderson–Pulay 加速法における適応的深さ制御は、電子構造計算において固定深さ方式に比べてより速い収束を実現できるか？
• RQ2 提案された適応的メカニズムは、最小二乗問題における線形依存性によって生じる数値的不安定性を回避し、理論的収束を保証するか？
• RQ3 収束速度と計算コストの観点から、適応的手法は標準的な DIIS や Anderson 加速法に比べてどのように性能を発揮するか？
• RQ4 適応的深さメカニズムは、従来の「経験則的」値に比べて、保存される反復回数の平均にどのような影響を与えるか？
• RQ5 非退化性および有界性仮定をより弱める条件下でも、理論的収束保証を DIIS および CDIIS 手法へ拡張できるか？

主な発見

• 適応的深さメカニズムは、補外係数の事前有界性を仮定しないまま、局所的超線形収束を保証する。
• リスタートベースと連続的適応の両方の変種が、電子基底状態計算において固定深さ対応物を上回るより速い収束を達成する。
• 特に適応的深さバージョンは、実用上最も効率的である可能性が高い。
• 数値実験から、保存される反復回数の平均が、標準実装で一般的に使われる固定値よりも顕著に低いことが示された。
• 適応的パラメータ（τ と δ）を小さくするほど収束速度が向上するが、ある点を過ぎると利得の減少が見られ、最適性能は 10−4 で達成される。
• 理論的推定値より数個オーダーも大きなパラメータ値でも、手法は依然として有効であり、実用的において強い耐性を示す。