[论文解读] Generalized Higher-Order Tensor Decomposition via Parallel ADMM

Fanhua Shang, Yuanyuan Liu+1 more|arXiv (Cornell University)|Jul 5, 2014

Tensor decomposition and applications参考文献 26被引用 14

一句话总结

该论文提出了一种凸的、基于迹范数正则化的张量分解方法，可在无需预先指定秩的情况下自动确定每个模式的低秩因子。通过建立张量与核心张量迹范数之间的等价性，并将非凸问题重新表述为加权矩阵迹范数最小化问题，该方法开发了两种并行的ADMM算法，在合成数据和真实世界数据（包括MRI和视频数据集）上均表现出优越的准确性和对噪声及异常值的鲁棒性。

ABSTRACT

Higher-order tensors are becoming prevalent in many scientific areas such as computer vision, social network analysis, data mining and neuroscience. Traditional tensor decomposition approaches face three major challenges: model selecting, gross corruptions and computational efficiency. To address these problems, we first propose a parallel trace norm regularized tensor decomposition method, and formulate it as a convex optimization problem. This method does not require the rank of each mode to be specified beforehand, and can automatically determine the number of factors in each mode through our optimization scheme. By considering the low-rank structure of the observed tensor, we analyze the equivalent relationship of the trace norm between a low-rank tensor and its core tensor. Then, we cast a non-convex tensor decomposition model into a weighted combination of multiple much smaller-scale matrix trace norm minimization. Finally, we develop two parallel alternating direction methods of multipliers (ADMM) to solve our problems. Experimental results verify that our regularized formulation is effective, and our methods are robust to noise or outliers.

研究动机与目标

• 解决高阶张量分解中的秩选择挑战，因为预设秩常导致次优结果。
• 克服传统张量分解方法（如CP和Tucker）对严重污染和噪声的敏感性。
• 通过支持并行化和降低问题规模，提高高阶张量的计算效率。
• 开发一种凸优化框架，自动确定每个模式中的因子数量，无需人工输入秩。
• 为张量补全、低秩与稀疏张量分解等应用提供鲁棒的张量恢复能力。

提出的方法

• 使用迹范数正则化构建凸优化问题，以在高阶张量中促进低秩结构。
• 建立低秩张量与其核心张量之间迹范数的等价性，从而实现高效计算。
• 将非凸的高阶正交迭代模型重新表述为小规模矩阵迹范数最小化问题的加权组合。
• 设计两种并行ADMM算法以求解所得凸问题，提升可扩展性和收敛速度。
• 利用交替方向乘子法（ADMM）在张量模式上实现并行化，以提高计算效率。
• 采用加权核范数最小化策略，以近似原始的非凸张量分解模型。

实验结果

研究问题

• RQ1 是否能够通过凸张量分解框架在无需预先指定秩的情况下自动确定每个模式中的因子数量？
• RQ2 迹范数正则化在高阶张量分解中如何提升对噪声和严重污染的鲁棒性？
• RQ3 在多大程度上可以利用张量与核心张量迹范数之间的等价性来降低计算复杂度？
• RQ4 与传统方法相比，并行ADMM算法是否能在大规模张量数据上实现更快的收敛速度和更好的可扩展性？
• RQ5 在合成和真实世界张量数据上，该方法与HOSVD、HOOI和ADMM等现有方法相比，在准确性和效率方面表现如何？

主要发现

• 在合成的三阶和四阶张量上，所提出的CTD和NCTD方法相较于HOSVD、HOOI、Mixture和ADMM，显著降低了相对标准误差（RSE），在秩为5时RSE低至6.52e-03。
• 在200×200×200张量上，NCTD相比HOSVD和HOOI将RSE降低了80%以上，后两者RSE值约为3.3×10⁻²。
• 在60×60×60×60张量上，NCTD在所有测试秩下均保持RSE低于7.2×10⁻³，优于HOSVD和HOOI，后两者RSE值均高于3.8×10⁻²。
• 相变图显示，与HOSVD和HOOI相比，CTD和NCTD在更高的噪声水平和秩设置下仍能成功恢复低秩张量，白色区域（完美恢复）延伸更远。
• 在181×217×181脑部MRI数据集上，CTD和NCTD在所有测试秩下均表现出比HOSVD和HOOI更低的RSE，且NCTD在对数时间尺度下运行更快。
• NCTD方法比HOSVD和HOOI更快，对于60×60×60×60张量在秩20时运行时间低于100秒，而HOOI超过4000秒。