[论文解读] A new convergence proof for the higher-order power method and generalizations

André Uschmajew|arXiv (Cornell University)|Jul 17, 2014

Tensor decomposition and applications参考文献 19被引用 7

一句话总结

本文提出了一种新的高阶幂法（HOPM）及其等价的交替最小二乘法（ALS）算法在最佳秩一秩张量逼近中的收敛性证明，利用 Łojasiewicz 梯度不等式建立全局收敛至临界点的结果。关键贡献在于通过利用实解析性与因子范数的有界性，避免了限制性假设，提供了一种清晰简化的证明，确保在温和条件下即使无正则化也能实现收敛。

ABSTRACT

A proof for the point-wise convergence of the factors in the higher-order power method for tensors towards a critical point is given. It is obtained by applying established results from the theory of Łojasiewicz inequalities to the equivalent, unconstrained alternating least squares algorithm for best rank-one tensor approximation.

研究动机与目标

• 建立高阶幂法（HOPM）在最佳秩一秩张量逼近中的全局收敛性。
• 通过将 Łojasiewicz 梯度不等式应用于等价的交替最小二乘法（ALS）算法，提供一种简化且透明的收敛性证明。
• 证明在因子范数有界等温和条件下，ALS 迭代序列可在无需正则化的情况下收敛至临界点。
• 将收敛性框架推广至其他多线性张量格式，强调在高秩情形下正则化是必要的。

提出的方法

• 将 Łojasiewicz 梯度不等式应用于最佳秩一秩张量逼近的无约束 ALS 公式。
• 依赖于目标函数为实解析函数，且迭代序列保持有界的事实，这源于多线性映射的结构以及无归一化约束的存在。
• 通过 Łojasiewicz 不等式建立迭代序列增量的绝对可 summability，从而暗示收敛至临界点。
• 采用块坐标下降框架，每次通过求解凸子问题依次更新一个因子。
• 通过利用因子范数的有界性，避免了正则化，这是先前关于秩一逼近 ALS 工作中的关键洞察。
• 证明在迭代序列中最小奇异值的下确界远离零的条件下，收敛性可全局成立。

实验结果

研究问题

• RQ1 高阶幂法在无限制性假设下，是否能对最佳秩一秩张量逼近全局收敛至临界点？
• RQ2 是否可直接将 Łojasiewicz 梯度不等式应用于离散的 ALS 迭代以确保收敛？
• RQ3 在何种条件下，可保证秩一逼近的 ALS 迭代序列在无需正则化的情况下收敛至临界点？
• RQ4 为何在将此收敛性框架推广至高秩张量格式时，通常需要正则化？
• RQ5 在秩一逼近的 ALS 中，因子范数的有界性如何使收敛性在无显式约束下成为可能？

主要发现

• 通过 Łojasiewicz 不等式框架，高阶幂法在全局范围内收敛至最佳秩一逼近问题的临界点。
• 通过证明因子向量范数在迭代过程中有上界和下界，无需正则化即可建立收敛性。
• 该方法确保了迭代序列增量的绝对可 summability，从而暗示收敛至唯一极限点。
• 该证明适用于等价的 ALS 算法，表明其在相同条件下也收敛至临界点。
• 对于如秩-r CP 等高阶张量格式，若无正则化，相同的收敛性框架会失效，原因在于缺乏类似于 (23) 的稳定性条件。
• 条件 (23) 确保了更新步骤中最小奇异值的有界性，该条件通过公式 (3) 在秩一张量中自动满足，但在一般高阶格式中并不成立。