[论文解读] High-dimension Tensor Completion via Gradient-based Optimization Under Tensor-train Format

Longhao Yuan. Qibin Zhao, Zhao, Qibin+2 more|arXiv (Cornell University)|Apr 5, 2018

Tensor decomposition and applications参考文献 30被引用 12

一句话总结

本文提出两种基于梯度的优化方法——TT-WOPT 和 TT-SGD——用于使用张量-列车（TT）分解进行高阶张量补全。通过将张量补全建模为低秩 TT 优化问题，并利用高效的梯度下降法，这些方法在高阶、高缺失率和大规模张量设置下表现出优越性能，尤其在结合视觉数据张量化（VDT）以改善视觉数据表示时效果更佳。

ABSTRACT

Tensor train (TT) decomposition has drawn people's attention due to its powerful representation ability and performance stability in high-order tensors. In this paper, we propose a novel approach to recover the missing entries of incomplete data represented by higher-order tensors. We attempt to find the low-rank TT decomposition of the incomplete data which captures the latent features of the whole data and then reconstruct the missing entries. By applying gradient descent algorithms, tensor completion problem is efficiently solved by optimization models. We propose two TT-based algorithms: Tensor Train Weighted Optimization (TT-WOPT) and Tensor Train Stochastic Gradient Descent (TT-SGD) to optimize TT decomposition factors. In addition, a method named Visual Data Tensorization (VDT) is proposed to transform visual data into higher-order tensors, resulting in the performance improvement of our algorithms. The experiments in synthetic data and visual data show high efficiency and performance of our algorithms compared to the state-of-the-art completion algorithms, especially in high-order, high missing rate, and large-scale tensor completion situations.

研究动机与目标

• 解决在传统 CP 和 Tucker 分解性能下降时，高阶张量补全在缺失数据下的挑战。
• 通过利用张量-列车（TT）分解的稳定性和线性可扩展性，克服现有张量补全方法在高阶和高缺失率场景下的局限性。
• 开发高效的优化算法，利用梯度下降直接从不完整数据中学习 TT 分解因子。
• 通过引入一种新型高阶张量化方法——视觉数据张量化（VDT）——提升视觉数据恢复性能，适用于图像和视频。
• 在极端缺失率下，于合成数据、视频和高光谱图像（HSI）补全任务中，证明所提方法的鲁棒性与高效性。

提出的方法

• 通过在 TT 核张量上最小化加权最小二乘（WLS）目标函数，将张量补全建模为低秩张量-列车（TT）分解问题。
• 应用梯度下降优化，迭代更新 TT 核张量，其中 TT-WOPT 用于全批量优化，TT-SGD 用于随机梯度下降以提升可扩展性。
• 引入视觉数据张量化（VDT），将 2D/3D 视觉数据（如图像、视频）转换为更高阶张量（如视频为 5D），以更好地保留空间和时间结构，提升表示能力。
• 使用 TT-秩正则化控制模型复杂度并防止过拟合，秩参数根据经验性能手动选择。
• 在 TT-SGD 中实现自适应学习率策略，以加速收敛并降低计算成本。
• 对 TT 展平（unfolding）应用核范数正则化，以增强低秩逼近效果，并在高缺失率场景下提升泛化能力。

实验结果

研究问题

• RQ1 与现有的基于 CP 和 Tucker 的方法相比，基于梯度的 TT 分解优化能否有效恢复高阶张量中的缺失条目？
• RQ2 所提出的 TT-WOPT 和 TT-SGD 算法在不同张量阶数和缺失率下的准确性和效率表现如何？
• RQ3 视觉数据张量化（VDT）在多大程度上提升了基于 TT 的张量补全在视觉数据上的性能？
• RQ4 在极端缺失率（如 99%）下，所提方法是否能处理当前最先进算法失效的情况？
• RQ5 在大规模张量补全任务中，TT-SGD 相较于 TT-ALS、CP-WOPT 和 HaLRTC 等算法的计算效率如何？

主要发现

• 在视频补全任务中，TT-SGD 在 99% 随机缺失率下实现最低重建误差（RSE = 0.2185）和最高 PSNR（19.24），优于所有基线方法。
• 在包含 1.25×10^7 个元素的高光谱图像上，TT-SGD 即使在 100 万次迭代下也于 700 秒内收敛，展现出极高的计算效率。
• 在高光谱图像补全中，TT-SGD 在 99% 随机缺失率下成功恢复数据，而 HaLRTC 完全失败，CP-WOPT 和 FBCP 表现显著更低。
• VDT 与基于 TT 的方法结合后，显著提升了视觉数据的性能，尤其在高阶张量化场景下，得益于对结构信息的更好保留。
• TT-WOPT 和 TT-SGD 在张量阶数增加时保持稳定性能，而 CP 和 Tucker 基方法性能迅速下降。
• TT-SGD 的收敛速度和时间成本均优于 TT-ALS（70% 缺失率下分别为 680.94s vs. 7100.43s），证实其在大规模场景下的高效性。