[论文解读] Jacobi-type algorithm for low rank orthogonal approximation of symmetric tensors and its convergence analysis

Jianze Li, Konstantin Usevich+1 more|arXiv (Cornell University)|Nov 2, 2019

Tensor decomposition and applications参考文献 32被引用 8

一句话总结

该论文提出了一种雅可比型算法，用于对称张量的低秩正交逼近，扩展了著名的雅可比CoM2方法。在基于梯度排序的条件下，建立了三阶对称张量秩-2逼近的全局收敛性，并提出了一种近端变体，无需额外条件即可保证全局收敛性，通过数值实验验证了其性能优于现有方法。

ABSTRACT

In this paper, we propose a Jacobi-type algorithm to solve the low rank orthogonal approximation problem of symmetric tensors. This algorithm includes as a special case the well-known Jacobi CoM2 algorithm for the approximate orthogonal diagonalization problem of symmetric tensors. We first prove the weak convergence of this algorithm, extit{i.e.} any accumulation point is a stationary point. Then we study the global convergence of this algorithm under a gradient based ordering for a special case: the best rank-2 orthogonal approximation of 3rd order symmetric tensors, and prove that an accumulation point is the unique limit point under some conditions. Numerical experiments are presented to show the efficiency of this algorithm.

研究动机与目标

• 开发一种鲁棒且全局收敛的算法，用于对称张量的低秩正交逼近。
• 将雅可比CoM2算法扩展至超越秩-1和满秩情形的一般低秩逼近问题。
• 在特定条件下，建立三阶对称张量秩-2情形的全局收敛性。
• 提出一种近端变体，确保无需限制性假设的全局收敛性。
• 通过实验验证该算法在效率和鲁棒性方面相较于SLROAT和信赖域方法的优势。

提出的方法

• 该算法对 canonical 向量对执行连续的雅可比扫描，以迭代方式改进低秩逼近。
• 采用基于梯度的排序策略，确定雅可比迭代中正交旋转的顺序。
• 对于一般情形，通过在优化子问题中添加二次正则化项，引入近端变体。
• 该方法利用张量收缩运算 $\boldsymbol{\mathcal{A}}(\boldsymbol{M}) = \boldsymbol{\mathcal{A}} \mathop{\bullet_{1}} \boldsymbol{M}^{{\sf T}} \mathop{\bullet_{2}} \cdots \mathop{\bullet_{d}} \boldsymbol{M}^{{\sf T}}$ 高效计算残差更新。
• 收敛性分析依赖于弱极限点性质以及对称张量在正交变换下的结构。
• 数值实验通过合成数据和真实世界张量数据，将该算法与SLROAT和信赖域方法进行比较。

实验结果

研究问题

• RQ1 雅可比型算法能否实现对称张量低秩正交逼近的全局收敛？
• RQ2 在基于梯度排序的条件下，该算法是否能保持对三阶对称张量秩-2逼近的收敛性和性能？
• RQ3 近端变体能否在无需额外假设的情况下确保全局收敛？
• RQ4 与SLROAT和信赖域方法相比，所提算法在性能和稳定性方面表现如何？
• RQ5 在实际中，累积点满足临界最优性条件的频率是多少？

主要发现

• 所提出的雅可比型算法在基于梯度排序的条件下，实现了三阶对称张量最佳秩-2正交逼近的全局收敛性，且在某些条件下累积点唯一。
• 该算法的近端变体无需任何额外假设即可保证全局收敛性，使其比非近端版本更具鲁棒性。
• 在示例6.1中，JLROA算法在 $p > 2$ 时优于SLROAT，当 $p=8$ 时，1000次实验中有900次结果更好或相等。
• 在示例6.2中，JLROA始终优于SLROAT和LROAT，即使在SHOPM和SLROAT无法收敛的情况下也表现更优。
• 在示例6.3中，当 $p > 2$ 时，信赖域方法优于JLROA，而JLROA在 $p=1$ 和 $p=2$ 时表现显著更差（RatioG分别为211.78和5.03）。
• 在示例6.4中，临界最优性条件在1000次随机试验中有991次被满足（$\omega > 0.0001$），表明收敛至有意义驻点的频率很高。