[论文解读] A Fast Algorithm for Cosine Transform Based Tensor Singular Value Decomposition

Wenhao Xu, Xi-Le Zhao+1 more|arXiv (Cornell University)|Feb 8, 2019

Tensor decomposition and applications参考文献 26被引用 7

一句话总结

本文提出一种基于离散余弦变换（DCT）的快速实值张量奇异值分解（t-SVD），替代传统的离散傅里叶变换（DFT），避免了复数运算，并利用反射边界条件。该方法在低秩张量补全任务中实现两倍速的计算速度，且在视频和多光谱图像修复任务中表现出更优的重建精度，相较于基于DFT的t-SVD在速度和误差指标上均表现更优。

ABSTRACT

Recently, there has been a lot of research into tensor singular value decomposition (t-SVD) by using discrete Fourier transform (DFT) matrix. The main aims of this paper are to propose and study tensor singular value decomposition based on the discrete cosine transform (DCT) matrix. The advantages of using DCT are that (i) the complex arithmetic is not involved in the cosine transform based tensor singular value decomposition, so the computational cost required can be saved; (ii) the intrinsic reflexive boundary condition along the tubes in the third dimension of tensors is employed, so its performance would be better than that by using the periodic boundary condition in DFT. We demonstrate that the tensor product between two tensors by using DCT can be equivalent to the multiplication between a block Toeplitz-plus-Hankel matrix and a block vector. Numerical examples of low-rank tensor completion are further given to illustrate that the efficiency by using DCT is two times faster than that by using DFT and also the errors of video and multispectral image completion by using DCT are smaller than those by using DFT.

研究动机与目标

• 开发一种避免DFT-based t-SVD中固有的复数运算的实值张量奇异值分解（t-SVD）框架。
• 通过使用反射边界条件替代DFT中采用的周期性边界条件，提升重建性能。
• 设计一种基于新型DCT-based t-SVD的高效低秩张量补全算法。
• 在计算效率和重建精度方面，证明所提方法相较于现有DFT-based t-SVD方法的优越性。

提出的方法

• 提出一种基于离散余弦变换（DCT）的新张量乘积，替代标准t-SVD中使用的DFT。
• 证明基于DCT的张量乘积等价于一个块托普利茨加汉克尔矩阵与一个块向量的乘积。
• 提出一种新的张量核范数，称为TNN-C，基于DCT-based t-SVD，用于低秩张量补全。
• 开发一种高效的交替方向乘乘法算法（ADMM），用于求解基于TNN-C的张量补全模型。
• 在张量的第三维中引入反射边界条件，更好地保持真实世界数据中的信号连续性。
• 采用实数运算实现该算法，与复数运算的DFT-based方法相比，显著降低了计算成本。

实验结果

研究问题

• RQ1 离散余弦变换（DCT）能否有效替代张量奇异值分解中的离散傅里叶变换（DFT），以消除复数运算？
• RQ2 在基于DCT的t-SVD中，使用反射边界条件是否能带来优于DFT-based t-SVD中周期性边界条件的重建性能？
• RQ3 在张量补全任务中，基于DCT的t-SVD与基于DFT的t-SVD相比，其计算效率如何？
• RQ4 与基于DFT的t-SVD相比，基于DCT的t-SVD在视频和多光谱图像修复中的重建精度提升程度如何？
• RQ5 所提方法是否能在保持或提升重建质量的同时，实现更快的收敛速度和更低的时间成本？

主要发现

• 在张量补全任务中，基于DCT的t-SVD方法相较于基于DFT的t-SVD，计算速度约快两倍。
• 在视频和多光谱图像补全任务中，基于DCT的方法（TNN-C）在PSNR、SSIM、SAM和ERGAS等误差指标上均优于基于DFT的方法（TNN-F）。
• 在10%采样率下，多光谱图像恢复任务中，TNN-C在Stuffed Toys数据集上达到36.63的PSNR，在Peppers数据集上达到36.87，显著优于TNN-F。
• TNN-C的时间成本显著降低，10%采样率下的平均运行时间仅为164.5秒，而TNN-F为320.2秒。
• 该方法对参数变化具有鲁棒性，最优性能在β = 1×10⁻²时达到，且在不同参数值下均表现出稳定收敛。
• 图7的视觉结果表明，TNN-C在保留细节纹理和边缘方面优于TNN-F，生成的重建结果更自然、更精细。