[论文解读] Fast algorithms for Higher-order Singular Value Decomposition from incomplete data

Yangyang Xu|arXiv (Cornell University)|Nov 16, 2014

Tensor decomposition and applications参考文献 39被引用 5

一句话总结

本文提出了一种统一的优化框架，能够同时对不完整多维数据进行低秩张量补全和高阶奇异值分解（HOSVD）。通过将插补与分解结合为一个通过块坐标更新求解的非凸问题，该方法在收敛速度和精度上均优于现有最先进方法，且首次在温和条件下证明了HOOI算法的全局收敛性。

ABSTRACT

Higher-order singular value decomposition (HOSVD) is an efficient way for data reduction and also eliciting intrinsic structure of multi-dimensional array data. It has been used in many applications, and some of them involve incomplete data. To obtain HOSVD of the data with missing values, one can first impute the missing entries through a certain tensor completion method and then perform HOSVD to the reconstructed data. However, the two-step procedure can be inefficient and does not make reliable decomposition. In this paper, we formulate an incomplete HOSVD problem and combine the two steps into solving a single optimization problem, which simultaneously achieves imputation of missing values and also tensor decomposition. We also present two algorithms for solving the problem based on block coordinate update. Global convergence of both algorithms is shown under mild assumptions. The convergence of the second algorithm implies that of the popular higher-order orthogonality iteration (HOOI) method, and thus we, for the first time, give global convergence of HOOI. In addition, we compare the proposed methods to state-of-the-art ones for solving incomplete HOSVD and also low-rank tensor completion problems and demonstrate the superior performance of our methods over other compared ones. Furthermore, we apply them to face recognition and MRI image reconstruction to show their practical performance.

研究动机与目标

• 为解决传统两步法（先张量补全后HOSVD）在处理不完整多维数据时效率低下和精度不足的问题。
• 开发一种联合优化框架，同时插补缺失值并计算截断的HOSVD。
• 建立高阶正交迭代（HOOI）方法的全局收敛性，该结果此前尚未被证明。
• 通过生成更可靠的低秩张量因子，提升下游任务（如人脸识别和MRI重建）的性能。

提出的方法

• 将不完整HOSVD问题建模为一个单一的非凸优化问题，通过最小化观测数据与重构张量之间差异的Frobenius范数来求解。
• 采用块坐标下降（BCD）算法求解，通过在正交性约束下交替更新核心张量和因子矩阵。
• 使用块坐标更新（BCU）策略，其中核心张量通过多线性展开和模式-n张量-矩阵乘法进行更新。
• 在每次更新步骤后，通过经济型QR分解对因子矩阵施加正交性约束。
• 在每次迭代中通过更新重构张量实施投影步骤，以保持与观测条目的一致性。
• 在温和假设下证明了算法的全局收敛性，该结果首次为HOOI方法提供了全局收敛性证明。

实验结果

研究问题

• RQ1 张量补全与HOSVD的联合优化框架是否能在准确性和效率上超越标准的两步法？
• RQ2 所提出的算法是否实现全局收敛？该结果能否用于建立广泛使用的HOOI方法的收敛性？
• RQ3 在真实世界数据集上，所提方法与现有最先进张量补全和低秩张量逼近技术相比表现如何？
• RQ4 联合学习的张量因子是否能提升下游分类任务（如人脸识别）的性能？
• RQ5 当数据高度不完整时，该方法是否能产生比现有方法更可靠、更稳定的低秩近似？

主要发现

• 所提算法在合成和真实世界不完整张量数据集上的重构精度优于现有最先进低秩张量补全方法。
• 该方法在人脸识别任务中表现出更优性能，由于获得了更可靠、更具结构化的因子矩阵，从而实现了更高的分类准确率。
• 在温和假设下，该算法实现了全局收敛，该结果首次为HOOI方法提供了全局收敛性证明。
• 该方法同时执行张量补全和HOSVD，通过统一框架生成重构张量和低秩分解。
• 实验结果表明，该方法比顺序的补全与分解流水线更快、更准确。
• 该方法成功实现了高保真度的MRI图像重建，展示了其在医学影像应用中的实际价值。