[论文解读] Fast and Accurate Tensor Completion with Total Variation Regularized Tensor Trains

Ching-Yun Ko, Kim Batselier+2 more|arXiv (Cornell University)|Apr 17, 2018

Tensor decomposition and applications参考文献 41被引用 7

一句话总结

该论文提出了一种基于张量列车（tensor trains）与全变差（Total Variation, TV）正则化的快速且精确的张量补全方法，将补全问题建模为已知张量条目上的回归问题。该方法在相似精度下相比最先进方法实现了高达155倍的加速，尤其在稀疏数据（例如仅1%条目已知）时表现优异，得益于高效的TV正则化张量列车优化与一种新型基于插值的初始化方法。

ABSTRACT

We propose a new tensor completion method based on tensor trains. The to-be-completed tensor is modeled as a low-rank tensor train, where we use the known tensor entries and their coordinates to update the tensor train. A novel tensor train initialization procedure is proposed specifically for image and video completion, which is demonstrated to ensure fast convergence of the completion algorithm. The tensor train framework is also shown to easily accommodate Total Variation and Tikhonov regularization due to their low-rank tensor train representations. Image and video inpainting experiments verify the superiority of the proposed scheme in terms of both speed and scalability, where a speedup of up to 155X is observed compared to state-of-the-art tensor completion methods at a similar accuracy. Moreover, we demonstrate the proposed scheme is especially advantageous over existing algorithms when only tiny portions (say, 1%) of the to-be-completed images/videos are known.

研究动机与目标

• 解决现有矩阵与张量补全方法在处理图像与视频等高维数据时的可扩展性与计算低效问题。
• 克服CP与Tucker分解在张量补全中的局限性，特别是其高存储成本与NP难的秩确定问题。
• 提出一种基于张量列车的框架，实现对具有低秩结构的不完整张量的高效、可扩展且精确的补全。
• 在张量列车框架中集成全变差与Tikhonov正则化，计算开销极低。
• 在图像与视频修复任务中展示卓越性能，尤其在仅观察到极小比例条目时。

提出的方法

• 将张量补全建模为回归问题，其中已知条目的多索引（坐标）作为输入，其值作为输出。
• 将未知张量建模为低秩张量列车（TT），并通过交替最小二乘法求解TT核心。
• 提出一种专为图像与视频数据设计的新型基于插值的张量列车初始化方法，以加速收敛。
• 利用全变差与Tikhonov正则化的低秩结构，以极低计算成本将其直接嵌入TT框架。
• 使用TT-SVD对张量列车进行固定TT秩初始化，确保数值稳定与效率。
• 通过求解由回归公式导出的一系列线性系统来优化TT核心，TV与Tikhonov项通过结构化正则化集成其中。

实验结果

研究问题

• RQ1 张量列车分解能否在速度与可扩展性上超越现有基于矩阵或CP的方法进行张量补全？
• RQ2 将全变差正则化集成到张量列车框架中，如何提升图像与视频补全的质量？
• RQ3 专用的初始化方法是否能显著加速视觉数据下基于张量列车的补全收敛？
• RQ4 当仅观察到极少数张量条目（如1%）时，所提方法表现如何？
• RQ5 在所提框架中，TT秩变化时，精度与运行时间之间的权衡如何，相较于最先进方法？

主要发现

• 所提TTC-TV方法相比最先进张量补全方法实现了高达155倍的加速，同时保持相似精度。
• 在仅1%条目已知的情况下，所提方法在PSNR与运行时间上均显著优于现有算法，展现出对稀疏观测的强鲁棒性。
• 针对视频补全的改进TTC算法在79秒内达到17.45 dB的PSNR——比TR-ALS快57倍，比标准TTC快23倍，同时达到最佳TR-ALS结果。
• TTC-TV结果几乎或甚至优于TT子空间中的准最优TT近似，表明解接近最优。
• 所提基于插值的初始化方法确保快速收敛，并显著贡献于整体加速，且不损害精度。
• 该方法在高分辨率图像与大尺寸视频张量上展现出卓越可扩展性，而传统方法如LRTC-TV因内存限制而失效。