[论文解读] Higher-dimension Tensor Completion via Low-rank Tensor Ring Decomposition

Longhao Yuan, Jianting Cao+2 more|arXiv (Cornell University)|Jul 3, 2018

Tensor decomposition and applications参考文献 16被引用 16

一句话总结

本文提出TR-WOPT，一种基于低秩张量环（TR）分解的张量补全方法，通过梯度下降优化TR核心张量，以预测高维张量中的缺失条目。该方法在高缺失率（例如>90%）下表现优异，尤其在图像补全任务中优于现有算法（如FaLRTC、TT-WOPT和FBCP），达到当前最优性能。

ABSTRACT

The problem of incomplete data is common in signal processing and machine learning. Tensor completion algorithms aim to recover the incomplete data from its partially observed entries. In this paper, taking advantages of high compressibility and flexibility of recently proposed tensor ring (TR) decomposition, we propose a new tensor completion approach named tensor ring weighted optimization (TR-WOPT). It finds the latent factors of the incomplete tensor by gradient descent algorithm, then the latent factors are employed to predict the missing entries of the tensor. We conduct various tensor completion experiments on synthetic data and real-world data. The simulation results show that TR-WOPT performs well in various high-dimension tensors. Furthermore, image completion results show that our proposed algorithm outperforms the state-of-the-art algorithms in many situations. Especially when the missing rate of the test images is high (e.g., over 0.9), the performance of our TR-WOPT is significantly better than the compared algorithms.

研究动机与目标

• 解决在极端缺失率下高维张量缺失条目补全的挑战。
• 利用张量环（TR）分解的高可压缩性和灵活性，提升数据表示与补全精度。
• 构建一个可微分的优化框架，通过梯度下降直接优化TR核心张量，以更好地恢复缺失条目。
• 证明TR-WOPT在高数据丢失场景下优于现有张量补全方法的优越性。
• 研究张量维度对补全性能的影响，表明更高维张量化可提升结果。

提出的方法

• 将张量补全建模为张量环（TR）分解潜在因子上的优化问题，其中TR核心张量从观测条目中学习。
• 采用基于梯度的优化策略（梯度下降）以最小化观测条目与预测值之间的重构误差。
• 将优化目标定义为在观测条目上最小化最小二乘误差，且不显式引入秩正则化。
• 应用TR分解将不完整张量表示为一系列低秩核心张量，实现高效的参数化与高维建模。
• 在实验中手动调整TR秩，指出最优性能依赖于恰当的秩选择。
• 使用矩阵化与张量收缩运算，高效计算优化过程中的梯度。

实验结果

研究问题

• RQ1 在高维与高缺失率场景下，张量环分解是否能比现有低秩张量模型实现更精确的张量补全？
• RQ2 在不同缺失模式下，TR-WOPT与当前最优张量补全算法（如FaLRTC、TT-WOPT和FBCP）相比表现如何？
• RQ3 提高张量维度（如从3D提升至5D）是否能改善TR-WOPT的补全性能？
• RQ4 在极端缺失率（如90%–99%）下，TR-WOPT对传统低秩矩阵或张量方法失效的场景是否具有鲁棒性？
• RQ5 对TR核心进行基于梯度的优化是否能有效恢复缺失条目，而无需显式使用核范数或秩最小化？

主要发现

• 在图像补全任务中，TR-WOPT显著优于FaLRTC、TT-WOPT、CP-WOPT和FBCP，尤其在高缺失率（如0.9–0.99）下，RSE更低，PSNR更高。
• 在缺失率为0.99时，TR-WOPT的RSE为0.398，PSNR为12.59；而FaLRTC性能急剧下降，RSE达0.942，PSNR为5.099。
• 对于‘Lena’图像，当缺失比例为70%时，TR-WOPT在5D张量化且TR秩为48时表现最佳，RSE = 0.0227，PSNR = 37.17。
• TR-WOPT在多种缺失模式（字母、刮痕、块状、线条、随机）下均保持稳定性能，RSE始终低于对比方法。
• 该方法表现出强泛化能力：在所有测试场景中，包括块状与线条缺失模式，其性能远超FBCP与CP-WOPT。
• 研究证实，更高维张量化（如5D）可增强数据结构表征能力，提升补全精度，尤其在结合更高TR秩时效果更显著。