[论文解读] Convergence analysis of direct minimization and self-consistent iterations

Éric Cancès, Gaspard Kemlin+1 more|arXiv (Cornell University)|Apr 20, 2020

Physics of Superconductivity and Magnetism参考文献 68被引用 51

一句话总结

本文对求解子空间优化问题的两种基本算法——阻尼自洽场（SCF）迭代和固定步长梯度下降——进行了严格的收敛性分析。推导了依赖于谱间隙和问题条件的渐近收敛速率，揭示了当泛函非二次时，SCF方法可能表现出混沌行为，而梯度下降则表现出与海森算子谱性质相关的可预测收敛行为。

ABSTRACT

This article is concerned with the numerical solution of subspace optimization problems, consisting of minimizing a smooth functional over the set of orthogonal projectors of fixed rank. Such problems are encountered in particular in electronic structure calculation (Hartree-Fock and Kohn-Sham Density Functional Theory -DFT- models). We compare from a numerical analysis perspective two simple representatives, the damped self-consistent field (SCF) iterations and the gradient descent algorithm, of the two classes of methods competing in the field: SCF and direct minimization methods. We derive asymptotic rates of convergence for these algorithms and analyze their dependence on the spectral gap and other properties of the problem. Our theoretical results are complemented by numerical simulations on a variety of examples, from toy models with tunable parameters to realistic Kohn-Sham computations. We also provide an example of chaotic behavior of the simple SCF iterations for a nonquadratic functional.

研究动机与目标

• 比较电子结构理论中子空间优化问题的阻尼SCF与梯度下降算法的收敛行为。
• 基于问题的谱性质，分析这两种算法的渐近收敛速率。
• 识别SCF迭代可能不收敛的条件，包括非二次泛函下的混沌动力学。
• 为理解SCF与直接最小化方法之间性能差异提供理论基础。
• 通过分析其最简代表，为改进实际算法提供依据。

提出的方法

• 研究在哈特ree-福克和科恩-沙姆密度泛函理论中相关的秩-N 正交投影算子上的子空间优化问题 min_P E(P)。
• 利用形如 1−βJ 的算子的谱分析，推导阻尼SCF和固定步长梯度下降的局部收敛速率。
• 识别有效哈密顿算子的第N个与第(N+1)个特征值之间的谱间隙是收敛速度的关键决定因素。
• 使用格拉斯曼流形上的黎曼优化理论来建模秩-N 投影算子的集合。
• 在具有可调间隙的模型系统和真实的科恩-沙姆体系上进行数值模拟，以验证理论结果。
• 在非二次泛函情况下，展示了SCF迭代的混沌行为，与先前结果相辅相成。

实验结果

研究问题

• RQ1 阻尼SCF与梯度下降算法的渐近收敛速率如何依赖于有效哈密顿算子的谱间隙？
• RQ2 简单阻尼SCF迭代在何种条件下会不收敛，这是否可与非二次泛函相关联？
• RQ3 为何在某些区域，直接最小化方法（如梯度下降）的收敛性比SCF方法更具可预测性？
• RQ4 阻尼SCF算法能否被解释为固定步长梯度下降方法的一种矩阵分裂形式？
• RQ5 泡利原理在这些算法的收敛性和解的唯一性中起什么作用？

主要发现

• 阻尼SCF与梯度下降算法的收敛速率由涉及海森算子和有效哈密顿算子的算子谱半径决定，其中第N个与第(N+1)个特征值之间的谱间隙是关键因素。
• 对于非二次泛函，SCF迭代可能表现出混沌行为，本文通过分析和数值验证揭示了这一点。
• 阻尼SCF算法可被视为固定步长梯度下降方法的一种矩阵分裂，为两类方法之间建立了理论联系。
• 当存在简并特征值（εN = εN+1）时，能量泛函的极小化器可能不唯一，泡利原理可能失效，从而影响收敛性。
• 当谱间隙较大时，两种算法均呈线性收敛，但相同步长下SCF的收敛速率通常慢于梯度下降。
• 分析表明，预处理对于将收敛理论推广至无穷维情形至关重要，而该方向仍是未来研究的开放领域。