[论文解读] Rank-1 Tensor Approximation Methods and Application to Deflation

Alex Pereira da Silva, Pierre Comon+1 more|arXiv (Cornell University)|Aug 21, 2015

Tensor decomposition and applications参考文献 27被引用 9

一句话总结

该论文提出 SeROAP，一种用于三态张量的新型代数秩-1逼近方法，其在准确性和效率方面优于标准的 THOSVD。同时引入了 CE 算法，一种保证收敛至驻点的迭代优化方法。此外，论文还对基于降维的 CP 分解（DCPD）进行了几何收敛性分析，证明了残差的单调减少，并在较弱条件下实现了精确恢复。

ABSTRACT

Because of the attractiveness of the canonical polyadic (CP) tensor decomposition in various applications, several algorithms have been designed to compute it, but efficient ones are still lacking. Iterative deflation algorithms based on successive rank-1 approximations can be used to perform this task, since the latter are rather easy to compute. We first present an algebraic rank-1 approximation method that performs better than the standard higher-order singular value decomposition (HOSVD) for three-way tensors. Second, we propose a new iterative rank-1 approximation algorithm that improves any other rank-1 approximation method. Third, we describe a probabilistic framework allowing to study the convergence of deflation CP decomposition (DCPD) algorithms based on successive rank-1 approximations. A set of computer experiments then validates theoretical results and demonstrates the efficiency of DCPD algorithms compared to other ones.

研究动机与目标

• 解决张量分解中缺乏高效且可靠的秩-1逼近方法的问题，特别是针对典型多态（CP）分解。
• 克服现有算法（如 ALS 和 HOSVD）在收敛性差和计算复杂度高方面的局限性。
• 开发一种稳健的迭代降维框架（DCPD），通过连续的秩-1逼近实现 CP 分解。
• 基于几何与概率框架，提供对 DCPD 的理论收敛性分析。
• 与最先进方法相比，证明在准确性、收敛速度和计算复杂度方面性能更优。

提出的方法

• 提出 SeROAP（顺序秩-1逼近与投影），一种通过迭代奇异值分解和投影至低阶张量实现秩-1逼近的代数方法。
• 对张量进行模式-1 展平，并通过计算主导右奇异向量，迭代优化秩-1逼近。
• 通过左、右奇异向量的外积执行投影步骤，重建秩-1张量逼近。
• 提出 CE（耦合特征值）算法，通过交替更新特征值对任意初始秩-1逼近进行优化，确保收敛至驻点。
• 采用几何框架分析降维过程，表明残差范数单调递减，且当残差不落入任意小体积的锥内时，可实现精确的 CP 分解恢复。
• 采用概率建模研究 DCPD 的收敛行为，尤其在一般张量条件下。

实验结果

研究问题

• RQ1 能否设计一种秩-1逼近方法，使其在三态张量上同时优于 THOSVD 的准确性和计算复杂度？
• RQ2 能否构建一种迭代优化算法，保证秩-1逼近收敛至驻点？
• RQ3 基于降维的 CP 分解（DCPD）算法是否能确保在连续秩-1逼近过程中残差范数单调减少？
• RQ4 在何种几何条件下，DCPD 可实现精确的 CP 分解恢复？
• RQ5 所提出的 CE 算法的计算复杂度与标准 ALS 相比如何，特别是在高维设置下？

主要发现

• SeROAP 在三态张量上始终产生优于 THOSVD 的秩-1逼近，且具有理论证明的优越性。
• 对于大维度和小阶数的张量，SeROAP 的计算复杂度远低于 THOSVD。
• CE 算法保证收敛至驻点，并能改进任意初始秩-1逼近，包括来自 SeROAP 或 THOSVD 的结果。
• 当初始化接近全局最优解时，CE 可恢复最佳秩-1逼近，且在某一维度显著大于其他维度时，其复杂度可能低于 ALS。
• DCPD 算法在整个降维过程中确保残差范数单调减少。
• 若残差未落入任意小体积的锥内，则 DCPD 可实现精确的 CP 分解恢复，表明其在较弱条件下具有鲁棒性。