[论文解读] Efficient Alternating Least Squares Algorithms for Truncated HOSVD of Higher-Order Tensors.

Chuanfu Xiao, Chao Yang+1 more|arXiv (Cornell University)|Apr 6, 2020

Tensor decomposition and applications被引用 2

一句话总结

本文提出了一种基于交替最小二乘法（ALS）的新算法，用于大规模张量的截断高阶奇异值分解（HOSVD），通过高效计算奇异向量避免了中间数据爆炸问题。该方法实现q线性收敛，具有天然并行性，显著降低了合成与真实世界张量应用中的计算成本。

ABSTRACT

The truncated Tucker decomposition, also known as the truncated higher-order singular value decomposition (HOSVD), has been extensively utilized as an efficient tool in many applications. Popular direct methods for truncated HOSVD often suffer from the notorious intermediate data explosion issue, especially for large-scale tensors, and are usually not easy to parallelize. In this paper, we propose a class of new truncated HOSVD algorithms based on alternating least squares (ALS). The proposed ALS-based approaches are able to eliminate the redundant computations of the singular vectors of intermediate matrices and are therefore free of data explosion. Also, the new methods are more flexible with adjustable convergence tolerance and are intrinsically parallelizable on high-performance computers. Theoretical analysis reveals that the ALS iteration in the proposed algorithms is q-linear convergent with a relatively wide convergence region. Numerical experiments with large-scale tensors from both synthetic and real-world applications demonstrate that ALS-based methods can substantially reduce the total cost of the original ones and are highly scalable for parallel computing.

研究动机与目标

• 解决传统直接方法在大规模张量截断HOSVD中产生的中间数据爆炸问题。
• 克服现有直接算法在张量分解中不可并行化且计算成本高昂的局限性。
• 开发一种灵活、可扩展且高效的现有HOSVD计算方法替代方案，支持可调节的收敛容差。
• 通过所提方法的内在并行性，实现高性能计算支持。

提出的方法

• 将截断HOSVD建模为通过交替最小二乘法（ALS）迭代求解的优化问题。
• 通过SVD求解低秩子问题，迭代计算核心张量和因子矩阵，避免存储完整的中间矩阵。
• 在每一步中应用秩截断，以防止数据爆炸并保持计算效率。
• 通过理论分析证明，该方法具有较宽的收敛区域，实现q线性收敛，确保收敛的鲁棒性与稳定性。
• 通过在不同模式上解耦因子矩阵的计算，使算法天然具备并行性。
• 引入可调节的收敛容差，以在实际应用中平衡精度与计算成本。

实验结果

研究问题

• RQ1 基于ALS的方法能否消除大规模张量直接HOSVD计算中常见的中间数据爆炸问题？
• RQ2 所提出的基于ALS的HOSVD算法在收敛速率和稳定性方面与传统方法相比如何？
• RQ3 所提算法在高性能计算环境中可并行化的程度如何？
• RQ4 与传统直接方法相比，基于ALS的方法在计算成本上实现了多大程度的降低？
• RQ5 该算法在合成与真实世界大规模张量数据集上的表现如何？

主要发现

• 所提出的基于ALS的HOSVD算法由于奇异向量的高效计算与截断，完全避免了中间数据爆炸问题。
• ALS迭代表现出q线性收敛，且收敛区域较宽，确保了鲁棒且稳定的收敛性能。
• 与传统直接方法相比，该方法在大规模张量上实现了显著的总计算成本降低。
• 由于在张量模式间具有内在的并行性，该算法在并行计算中表现出高度可扩展性。
• 数值实验验证了该方法在合成与真实世界张量数据集上的有效性，表现出优越的性能与效率。