[论文解读] Adaptive Step Size Strategy for Orthogonality Constrained Line Search Methods

Xiaoying Dai, Liwei Zhang+1 more|arXiv (Cornell University)|Jun 7, 2019

Matrix Theory and Algorithms参考文献 32被引用 4

一句话总结

本论文提出了一种正交性约束线搜索方法的自适应步长策略，该策略无需回溯即可保持收敛性，同时实现更快的收敛速度和更低的计算成本。在多个分子体系的电子结构计算中，该方法在迭代次数和运行时间方面均优于传统的基于回溯的算法。

ABSTRACT

In this paper, we propose an adaptive step size strategy for a class of line search methods for orthogonality constrained minimization problems, which avoids the classic backtracking procedure. We prove the convergence of the line search methods equipped with our adaptive step size strategy under some mild assumptions.We then apply the adaptive algorithm to electronic structure calculations, which show that our strategy is efficient and recommended.

研究动机与目标

• 开发一种正交性约束最小化中的步长策略，以避免计算成本高昂的回溯过程。
• 在不依赖回溯的前提下，确保线搜索方法在较弱假设下的全局收敛性。
• 提高求解Kohn-Sham密度泛函理论（DFT）问题的计算效率，用于电子结构计算。
• 提供一种稳健且自适应的替代方案，以取代Armijo型回溯，从而减少迭代次数和运行时间。

提出的方法

• 提出一种自适应步长策略，根据局部下降条件动态调整步长，避免重复的试探点和函数评估。
• 在较弱假设下建立理论收敛性，包括梯度有界性和梯度的Lipschitz连续性。
• 将该自适应策略应用于Stiefel流形上的共轭梯度法和梯度型方法。
• 采用基于重投影的线搜索框架，并引入一种适用于自适应步长选择的非单调Armijo型条件。
• 使用统一的算法框架，适用于多种线搜索方法（包括共轭梯度法和梯度下降法），在正交性约束下保持一致性。
• 在真实分子体系的Kohn-Sham能量最小化问题上，通过数值实验验证了该策略的有效性。

实验结果

研究问题

• RQ1 能否设计一种自适应步长策略，以替代正交性约束线搜索方法中的回溯过程，同时不损失收敛性？
• RQ2 与基于回溯的方法相比，所提出的自适应策略在电子结构计算中是否能降低计算成本？
• RQ3 该自适应策略在不同分子体系中的收敛速度和最终精度表现如何？
• RQ4 该自适应方法是否能在弱于经典回溯方法所需假设的条件下保持全局收敛性？

主要发现

• 该自适应步长策略在较弱假设下（包括梯度有界性和梯度Lipschitz连续性）实现了全局收敛性，且无需依赖回溯。
• 对于苯（C6H6），自适应方法将计算时间从31.39秒（回溯）减少至11.36秒，迭代次数也从625次降至334次。
• 对于富勒烯（C60），尽管每次迭代成本更高，自适应方法仍将计算时间从6775.76秒减少至945.60秒。
• 无回溯版本（GM-QR-noBack）在丙氨酸和C120体系中30,000次迭代内均未收敛，而自适应方法分别在3,376次和7,929次迭代内成功收敛。
• 自适应方法获得的能量值与基于回溯的方法相当或更优，最终能量值与参考值一致（例如，C60的参考能量为-3.42875137E+02 a.u.）。
• 尽管单次迭代成本更高，由于迭代次数显著减少，自适应策略将平均每次迭代时间（A.T.P.I.）降低了最多30%。