[论文解读] Convergence of Alternating Least Squares Optimisation for Rank-One Approximation to High Order Tensors

Mike Espig, Aram Khachatryan|arXiv (Cornell University)|Mar 18, 2015

Tensor decomposition and applications参考文献 17被引用 7

一句话总结

本文分析了高阶张量秩一逼近中交替最小二乘法（ALS）算法的收敛行为，证明其收敛速度可为次线性、Q-线性或Q-超线性，具体取决于张量结构。该分析利用张量格式的多线性性质，提供了理论依据，无需依赖洛贾谢夫斯基不等式或非线性 Gauss-Seidel 收敛理论。

ABSTRACT

The approximation of tensors has important applications in various disciplines, but it remains an extremely challenging task. It is well known that tensors of higher order can fail to have best low-rank approximations, but with an important exception that best rank-one approximations always exists. The most popular approach to low-rank approximation is the alternating least squares (ALS) method. The convergence of the alternating least squares algorithm for the rank-one approximation problem is analysed in this paper. In our analysis we are focusing on the global convergence and the rate of convergence of the ALS algorithm. It is shown that the ALS method can converge sublinearly, Q-linearly, and even Q-superlinearly. Our theoretical results are illustrated on explicit examples.

研究动机与目标

• 建立在张量秩一逼近背景下，交替最小二乘法（ALS）算法的全局收敛性与收敛速率分析。
• 解决高阶张量逼近中收敛行为的理解挑战，其中最佳低秩逼近可能不存在，但最佳秩一逼近始终存在。
• 提供ALS收敛性的理论基础，避免依赖洛贾谢夫斯基梯度不等式或非线性 Gauss-Seidel 收敛理论。
• 基于张量结构和初始条件，表征收敛速率（次线性、Q-线性、Q-超线性）。
• 通过显式例子验证理论结果，包括正交可分解张量和来自电子结构理论的物理驱动张量。

提出的方法

• 将ALS算法表述为一种非线性 Gauss-Seidel 方法，通过依次固定其他因子向量，仅对一个因子向量最小化目标函数。
• 目标函数定义为涉及张量内积和给定张量 $ b $ 的二次型，并通过 $ \|b\|^2 $ 进行归一化。
• 利用张量格式 $ U(p_1, \dots, p_d) = \bigotimes_{\mu=1}^d p_\mu $ 的多线性性质进行收敛性分析，从而可精确推导出迭代的递推关系。
• 通过分析迭代值与极限张量之间夹角的行为，使用 $ \tan \varphi_k $ 作为接近程度的度量，进行收敛速率分析。
• 通过研究比值 $ q_k = \frac{\tan \varphi_{k+1}}{\tan \varphi_k} $ 的渐近行为，推导出理论收敛速率，该比值决定了收敛为次线性、Q-线性或Q-超线性。
• 构造显式例子以说明不同的收敛模式，包括正交可分解张量和扰动的秩一结构。

实验结果

研究问题

• RQ1 ALS算法在张量秩一逼近中是否能实现全局收敛？在何种条件下？
• RQ2 对于高阶张量，ALS方法可能的收敛速率（次线性、Q-线性、Q-超线性）有哪些？
• RQ3 初始猜测如何影响ALS算法的收敛行为及其极限点？
• RQ4 能否利用张量格式的多线性性质，对收敛速率进行解析表征？
• RQ5 不同张量结构（如正交可分解张量或扰动的秩一张量）如何影响收敛动力学？

主要发现

• ALS算法可全局收敛至任意高阶张量的最佳秩一逼近，因为秩一张量集合在张量空间中是闭集。
• ALS的收敛速率可为次线性、Q-线性或Q-超线性，具体取决于张量结构和初始条件。
• 在示例1的正交可分解张量中，当初始猜测接近某一主成分时，ALS以Q-超线性收敛。
• 在示例2中，对甲烷分子中两电子积分的建模，ALS以Q-线性收敛，展示了在实际应用中的合理收敛行为。
• 在示例3中，对于扰动的秩一张量，当 $ \lambda = 0.5 $ 时出现次线性收敛，而当 $ \lambda = 0.2 $ 时观察到Q-线性收敛，表明收敛速率依赖于参数取值。
• 收敛速率由 $ \tan \varphi_k $ 的衰减速率决定，其中 $ q_k = \frac{\tan \varphi_{k+1}}{\tan \varphi_k} \to 0 $ 表明Q-超线性收敛，$ q_k \to c \in (0,1) $ 表明Q-线性收敛，$ q_k \to 1 $ 表明次线性收敛。