[论文解读] Tensor Ring Decomposition: Energy Landscape and One-loop Convergence of Alternating Least Squares

Ziang Chen, Ying‐Zhou Li+1 more|arXiv (Cornell University)|May 17, 2019

Tensor decomposition and applications被引用 3

一句话总结

本文通过交替最小二乘法（ALS）分析张量环分解，揭示了在张量秩维度变化时优化难度的显著转变：即使在过参数化情况下，虚假局部极小值依然存在，但当张量秩维度足够大时，可证明单圈收敛性。该研究结合理论分析与数值验证，确立了ALS在张量环学习中的收敛条件。

ABSTRACT

In this work, we study the tensor ring decomposition and its associated numerical algorithms. We establish a sharp transition of algorithmic difficulty of the optimization problem as the bond dimension increases: On one hand, we show the existence of spurious local minima for the optimization landscape even when the tensor ring format is much over-parameterized, i.e., with bond dimension much larger than that of the true target tensor. On the other hand, when the bond dimension is further increased, we establish one-loop convergence for alternating least square algorithm for tensor ring decomposition. The theoretical results are complemented by numerical experiments for both local minimum and one-loop convergence for the alternating least square algorithm.

研究动机与目标

• 理解在不同张量秩维度下张量环分解的优化景观。
• 研究张量环学习中虚假局部极小值的存在性及其影响。
• 建立交替最小二乘法（ALS）实现单圈收敛的条件。
• 将理论分析与数值验证相结合，以支持张量环分解中ALS的理论基础。

提出的方法

• 利用非凸优化工具，对张量环分解的优化景观进行理论分析。
• 通过在过参数化设置下构造反例，识别虚假局部极小值。
• 推导出确保ALS实现单圈收敛的张量秩维度条件。
• 将交替最小二乘法（ALS）作为张量环学习的核心算法框架。
• 通过数值实验验证理论发现，包括局部极小值的存在性与收敛行为。

实验结果

研究问题

• RQ1 当张量秩维度远大于真实张量的秩时，张量环分解中是否仍存在虚假局部极小值？
• RQ2 在何种张量秩维度下，优化景观会从存在虚假极小值转变为支持ALS的单圈收敛？
• RQ3 在特定过参数化条件下，能否在理论上保证ALS在张量环分解中实现单圈收敛？
• RQ4 随着张量秩维度的增加，ALS的算法行为如何变化，特别是在收敛性与局部极小值方面的表现？

主要发现

• 即使张量秩维度远大于真实张量的秩，张量环分解中仍存在虚假局部极小值，表明仅靠过参数化无法消除优化挑战。
• 随着张量秩维度的增加，算法难度出现显著转变，将存在与不存在虚假极小值的区域明确区分开来。
• 当张量秩维度超过临界阈值时，尽管在较低维度下存在虚假极小值，仍可证明ALS实现单圈收敛。
• 数值实验验证了理论发现，展示了局部极小值的存在性以及ALS在不同张量秩维度下的收敛行为。