[论文解读] Efficient tensor completion: Low-rank tensor train

Ho N. Phien, Hoang Duong Tuan+2 more|arXiv (Cornell University)|Jan 6, 2016

Tensor decomposition and applications参考文献 27被引用 27

一句话总结

本文提出两种基于张量列车（TT）秩的高效张量补全算法——SiLRTC-TT 和 TMac-TT，用于恢复低秩张量中的缺失条目。通过采用平衡的矩阵化方案，TT 秩比 Tucker 秩更能捕捉张量的整体结构，从而在合成数据和真实世界数据上表现更优，尤其在高阶张量（如增强彩色图像）中优势显著。

ABSTRACT

This paper proposes a novel formulation of the tensor completion problem to impute missing entries of data represented by tensors. The formulation is introduced in terms of tensor train (TT) rank which can effectively capture global information of tensors thanks to its construction by a well-balanced matricization scheme. Two algorithms are proposed to solve the corresponding tensor completion problem. The first one called simple low-rank tensor completion via tensor train (SiLRTC-TT) is intimately related to minimizing the TT nuclear norm. The second one is based on a multilinear matrix factorization model to approximate the TT rank of the tensor and called tensor completion by parallel matrix factorization via tensor train (TMac-TT). These algorithms are applied to complete both synthetic and real world data tensors. Simulation results of synthetic data show that the proposed algorithms are efficient in estimating missing entries for tensors with either low Tucker rank or TT rank while Tucker-based algorithms are only comparable in the case of low Tucker rank tensors. When applied to recover color images represented by ninth-order tensors augmented from third-order ones, the proposed algorithms outperforms the Tucker-based algorithms.

研究动机与目标

• 解决 Tucker 秩因矩阵化不平衡及分量秩上界过小，导致难以捕捉全局张量结构的局限性。
• 开发利用张量列车（TT）分解实现更优低秩表示的高效张量补全算法。
• 提升对合成张量和真实世界视觉数据（尤其是以高阶张量表示的彩色图像）的恢复精度。
• 提出一种张量态增强（KA）方案，将低阶张量转换为高阶张量，同时保持数据大小不变，从而增强表征能力。
• 证明基于 TT 的算法在应用于增强张量时，尤其在高缺失率场景下，优于基于 Tucker 的对应算法。

提出的方法

• 通过 TT 核范数最小化，将张量补全问题建模为 TT 秩的凸近似，定义为各分量张量矩阵化后加权核范数之和。
• 提出 SiLRTC-TT，一种基于块坐标下降的算法，利用奇异值阈值法最小化 TT 核范数，其原理与矩阵低秩补全类似。
• 开发 TMac-TT，一种非凸的多线性矩阵分解方法，避免昂贵的 SVD 计算，实现更快的计算速度。
• 应用张量态增强（KA）方案，将三阶彩色图像转换为九阶张量，保持数据完整性的同时增强结构表征。
• 采用交替优化求解 TMac-TT 模型，通过高效的秩-1 更新迭代更新因子矩阵。
• 引入加权优化策略，以平衡重建过程中不同 TT 核矩阵的贡献。

实验结果

研究问题

• RQ1 张量列车（TT）秩是否能在张量补全任务中，尤其在高阶张量中，提供比 Tucker 秩更有效的低秩表示？
• RQ2 TT 分解中平衡的矩阵化方案相比 Tucker 的非平衡模式化矩阵化，如何更有效地捕捉全局信息？
• RQ3 基于 TT 的算法（SiLRTC-TT 和 TMac-TT）在恢复合成张量和真实世界张量的缺失条目时，相较于基于 Tucker 的方法，其性能提升程度如何？
• RQ4 通过张量态增强（KA）实现的张量阶数增强，是否能提升张量补全算法的性能，特别是在视觉数据上？
• RQ5 TMac-TT 是否能通过避免 SVD 计算，在计算成本更低的前提下，实现与 SiLRTC-TT 相当或更优的恢复精度？

主要发现

• 在低 TT 秩的合成张量上，SiLRTC-TT 和 TMac-TT 显著优于基于 Tucker 的算法，而在低 Tucker 秩情况下两者性能相近。
• 在彩色图像恢复任务中，TMac-TT 在通过 KA 生成的九阶张量上取得最佳结果，尤其在高缺失率（如 90% 缺失条目）时表现突出。
• 采用 KA 的所提算法相比未增强的对应算法，恢复结果更优，证明了高阶表示的优势。
• TMac-TT 通过避免奇异值分解（SVD），在计算效率上显著优于 SiLRTC-TT，使其在处理大规模张量时更具可扩展性。
• 基于 Tucker 的算法在增强后的九阶张量上表现不佳，原因在于 Tucker 秩分量的固有局限性（实验中最大秩为 4），而 TT 秩分量可高达 256，从而能更好地建模全局结构。
• 在 Lenna 和 House 图像上的实证结果证实，当使用 KA 将张量增强至九阶时，基于 TT 的方法比基于 Tucker 的方法更具鲁棒性和准确性。