[论文解读] Tensor Networks for Latent Variable Analysis. Part I: Algorithms for Tensor Train Decomposition

Anh Huy Phan, Andrzej Cichocki+4 more|arXiv (Cornell University)|Sep 29, 2016

Tensor decomposition and applications参考文献 20被引用 11

一句话总结

本文提出了一种用于张量列车（TT）分解的新型交替优化算法，可同时更新一个或多个核心张量，从而提升大规模数据的数值稳定性和可扩展性。与传统的截断SVD-based TT算法相比，所提方法在盲源分离、去噪和特征提取任务中表现出更优的性能。

ABSTRACT

Decompositions of tensors into factor matrices, which interact through a core tensor, have found numerous applications in signal processing and machine learning. A more general tensor model which represents data as an ordered network of sub-tensors of order-2 or order-3 has, so far, not been widely considered in these fields, although this so-called tensor network decomposition has been long studied in quantum physics and scientific computing. In this study, we present novel algorithms and applications of tensor network decompositions, with a particular focus on the tensor train decomposition and its variants. The novel algorithms developed for the tensor train decomposition update, in an alternating way, one or several core tensors at each iteration, and exhibit enhanced mathematical tractability and scalability to exceedingly large-scale data tensors. The proposed algorithms are tested in classic paradigms of blind source separation from a single mixture, denoising, and feature extraction, and achieve superior performance over the widely used truncated algorithms for tensor train decomposition.

研究动机与目标

• 解决现有截断SVD-based TT分解算法存在的近似误差次优和秩最小化不足的问题。
• 开发数值稳定且可扩展的TT分解算法，以高效处理大规模张量。
• 实现张量网络在标准信号处理和机器学习范式（如盲源分离、去噪和特征提取）中的有效应用。
• 提出可同时优化多个核心张量的交替更新策略，以提升收敛速度和近似质量。
• 通过张量展开和Tucker-2分解，构建一种保证低秩结构并降低计算成本的TT分解框架。

提出的方法

• 提出交替双核心更新（ADCU）算法，通过将TT分解重述为重塑后的四阶张量的低秩矩阵分解，来同时更新两个连续的核心张量。
• 对展开张量 $[oldsymbol{ au}_{n,n+1}]_{(1,2)}$ 应用截断奇异值分解（SVD），以计算新的核心张量，从而确保秩最小化和数值稳定性。
• 引入交替三核心更新（ATCU）算法，通过将收缩张量重塑为三阶张量并应用Tucker-2分解，来同时更新三个连续的核心张量。
• 利用特征值缩放对中间核心张量进行左正交化，以保持数值稳定性并确保分解的唯一性。
• 通过模式-(1,2)和模式-(4,5)展开，将高阶张量收缩转换为矩阵运算，降低计算复杂度。
• 在SVD步骤中引入自适应截断的误差容限控制，允许在预设误差范围内进行近似。

实验结果

研究问题

• RQ1 如何使张量列车分解在信号处理和机器学习中的大规模数据张量上更具稳定性和可扩展性？
• RQ2 同时更新多个核心张量对TT分解的近似精度和收敛速度有何影响？
• RQ3 利用低秩矩阵分解和Tucker-2分解的交替优化方案能否优于传统的截断SVD-based TT算法？
• RQ4 在秩未知先验的情况下，如何在保持指定近似误差的前提下最小化TT-秩？
• RQ5 所提算法在真实应用场景（如单混合信号的盲源分离和图像去噪）中的性能提升程度如何？

主要发现

• 所提出的ADCU和ATCU算法在近似精度上显著优于标准的截断SVD-based TT分解，尤其在噪声环境或病态条件下表现更优。
• ATCU算法通过将中间张量 $oldsymbol{ au}_{n:n+2}$ 压缩为 $R_n imes I_{n+1} imes R_{n+1}$ 尺寸，降低了计算成本，当 $R_{n-1}I_n$ 或 $R_{n+2}I_{n+2}$ 显著大于对应秩时尤为有效。
• ATCU中的左正交化步骤确保中间核心张量 $oldsymbol{ au}_{n+1}$ 满足 $oldsymbol{ au}_{n+1} lacktriangleleft_2 oldsymbol{ au}_{n+1} = ext{diag}(oldsymbol{ u}_n)$，从而稳定了优化过程。
• 所提算法在经典信号处理任务中表现有效：包括从单一样本中进行盲源分离、图像去噪和特征提取，优于现有方法。
• ATCU中采用的Tucker-2分解能够高效实现三核心收缩的低秩近似，同时提升了精度和计算效率。
• 所提方法即使在极大规模数据张量上也具备可扩展性和可处理性，因为它们通过张量展开和SVD将大规模张量问题转化为求解更小的子问题。