[论文解读] Iterative Methods for Symmetric Outer Product Tensor Decompositions

Na Li, Carmeliza Navasca|arXiv (Cornell University)|Dec 30, 2013

Tensor decomposition and applications参考文献 23被引用 5

一句话总结

该论文提出了一种针对三阶部分对称和四阶完全对称张量的对称外积张量分解的偏列最小二乘法（PCLS）算法。通过利用优化的矩阵化方法和多项式求根技术实现因子矩阵的列更新，PCLS避免了交替最小二乘法（ALS）中常见的收敛缓慢和陷入局部极小值（swamps）的问题，在数值实验中表现出显著更快的收敛速度和更低的CPU时间。

ABSTRACT

We study the symmetric outer product decomposition which decomposes a fully (partially) symmetric tensor into a sum of rank-one fully (partially) symmetric tensors. We present iterative algorithms for the third-order partially symmetric tensor and fourth-order fully symmetric tensor. The numerical examples indicate a faster convergence rate for the new algorithms than the standard method of alternating least squares.

研究动机与目标

• 解决标准交替最小二乘法（ALS）在对称外积张量分解（SOPD）中收敛缓慢和数值不稳定的（如陷入局部极小值）问题。
• 为三阶部分对称张量和四阶完全对称张量设计一种更高效的迭代算法。
• 通过消除ALS中固有的冗余最小二乘子问题，降低计算成本。
• 通过在优化矩阵化基础上利用多项式求根进行列更新，提升收敛速度和鲁棒性。

提出的方法

• 为三阶部分对称和四阶完全对称张量的SOPD提出偏列最小二乘法（PCLS）算法。
• 使用模式-n矩阵化将张量分解问题重构为矩阵形式，以实现高效计算。
• 对四阶完全对称张量采用方阵化方法，通过分块矩阵运算使PCLS得以应用。
• 将ALS中的三个非线性最小二乘子问题替换为每列更新时对四次多项式进行单次求根步骤。
• 通过求解由最优性条件导出的多项式方程，实现因子矩阵的列更新。
• 在迭代更新过程中，利用unvec操作将向量化形式重构为矩阵。

实验结果

研究问题

• RQ1 新的迭代方法是否能在对称张量分解中实现比ALS更快的收敛速度和更高的稳定性？
• RQ2 PCLS算法在多大程度上缓解了ALS在对称张量分解中观察到的“swamp”现象？
• RQ3 与ALS相比，PCLS在部分对称和完全对称张量上是否显著减少了计算时间和迭代次数？
• RQ4 多项式求根能否有效替代对称张量分解中多个最小二乘子问题？

主要发现

• 对于大小为17×17×18、秩为17的三阶部分对称张量，PCLS在120次迭代和3.9919秒内收敛，而ALS在良好初始猜测下需1129次迭代和6.4126秒。
• 使用随机初始猜测时，PCLS仅需205次迭代即可达到10⁻¹⁰误差，而ALS在20,000次迭代后停滞在10⁰误差，表明PCLS能有效避免陷入局部极小值。
• 在50次随机初始化的平均结果中，PCLS将迭代次数从ALS的3,445.0减少到258.7，CPU时间从17.1546秒减少到6.1413秒。
• 随着张量尺寸从10×10×10增至90×90×90，PCLS的CPU时间增长显著慢于ALS，后者表现出更陡峭的扩展趋势。
• 对于大小为10×10×10×10、秩为10的四阶完全对称张量，PCLS快速收敛且无局部极小值陷阱，而ALS表现出收敛停滞。
• 在15×15×15×15的四阶完全对称张量（秩为10）上，PCLS耗时4.2763秒完成分解，而ALS耗时27.2149秒，证实了PCLS的优越效率。