[论文解读] Alternating minimal energy methods for linear systems in higher dimensions. Part II: Faster algorithm and application to nonsymmetric systems

Sergey Dolgov, Dmitry Savostyanov|arXiv (Cornell University)|Apr 4, 2013

Tensor decomposition and applications参考文献 31被引用 30

一句话总结

本文提出了一种快速、自适应秩的求解器——交替极小能量（AMEn）算法，用于求解高维张量结构线性系统。通过结合一次或两次核心的交替更新与基于全局残差的基扩充，AMEn 实现了全局收敛和超线性实际收敛速度，在非对称问题（如福克-普朗克方程和化学主方程）中优于 DMRG 方法。

ABSTRACT

In this paper we accomplish the development of the fast rank-adaptive solver for tensor-structured symmetric positive definite linear systems in higher dimensions. In [arXiv:1301.6068] this problem is approached by alternating minimization of the energy function, which we combine with steps of the basis expansion in accordance with the steepest descent algorithm. In this paper we combine the same steps in such a way that the resulted algorithm works with one or two neighboring cores at a time. The recurrent interpretation of the algorithm allows to prove the global convergence and to estimate the convergence rate. We also propose several strategies, both rigorous and heuristic, to compute new subspaces for the basis enrichment in a more efficient way. We test the algorithm on a number of high-dimensional problems, including the non-symmetrical Fokker-Planck and chemical master equations, for which the efficiency of the method is not fully supported by the theory. In all examples we observe a convincing fast convergence and high efficiency of the proposed method.

研究动机与目标

• 通过为张量结构系统开发高效求解器，解决高维偏微分方程和积分方程中的维度灾难问题。
• 克服交替最小二乘法（ALS）和 DMRG 方法在非对称问题中收敛缓慢或停滞的局限性。
• 开发一种自适应秩的算法，结合局部优化与全局残差信息，以确保全局收敛并实现更快的实际收敛速度。
• 将张量列车方法的应用范围扩展至非对称系统，如福克-普朗克方程和化学主方程，尽管这些系统理论支持较弱，但数值表现优异。

提出的方法

• 提出 AMEn 算法，交替优化张量列车（TT）格式中一个或两个相邻核心，同时利用全局残差进行基扩充。
• 采用最速下降法（SD）作为基扩充策略，以确保全局收敛并支持收敛速率估计。
• 将算法重新表述为递归的、基于扫掠的方式，以支持理论收敛性分析并实现高效计算。
• 引入多种残差计算策略：基于 SVD 的 TT 近似、不完全 Cholesky 分解以及低秩 ALS 近似，以降低计算成本。
• 合理安排更新与扩充步骤，确保每次仅修改一个或两个核心，模仿 DMRG 的结构但具备更优的全局收敛性。
• 将最速下降法的收敛理论适配至 AMEn，以建立收敛速率的理论边界，尽管实际性能优于理论预测。

实验结果

研究问题

• RQ1 基于张量列车的高维线性系统求解器能否在保持快速实际收敛速度的同时实现全局收敛？
• RQ2 AMEn 算法通过结合局部核心更新与全局残差基扩充，在收敛速度和鲁棒性方面与 ALS 和 DMRG 相比如何？
• RQ3 AMEn 方法能否有效应用于非对称系统（如福克-普朗克方程和化学主方程），其中标准收敛理论不适用？
• RQ4 在高维张量格式中，计算用于基扩充的局部残差分量的最高效且最精确的方法是什么？
• RQ5 为何 AMEn 在实践中表现出超线性收敛，尽管理论边界仅与单步最速下降法一致？

主要发现

• AMEn 实现了全局收敛，并提供了与最速下降法一致的收敛速率估计，尽管张量流形结构具有非线性特征。
• 该算法的实际收敛速度远快于理论估计，表现出类似 GMRES 的行为，而非单步最速下降法。
• 在非对称系统（如福克-普朗克方程和化学主方程）中，AMEn 即使在理论预测性能不佳的情况下仍能快速收敛，显著优于常会停滞的 DMRG 方法。
• 计算成本随维度和模式大小呈线性增长，且通过使用更廉价的残差近似方法（如不完全 Cholesky 或低秩 ALS）降低了秩相关复杂度。
• 使用低秩 ALS 进行残差近似可显著提升速度，同时保持收敛质量，是基于 SVD 的 TT 近似更优的替代方案。
• CPU 时间随条件数 λ 的增加而减少，表明对矩阵谱的依赖性较弱，且性能对初始猜测的质量高度敏感。