[论文解读] Low-rank Tensor Grid for Image Completion

Huyan Huang, Yipeng Liu+1 more|arXiv (Cornell University)|Mar 12, 2019

Tensor decomposition and applications参考文献 47被引用 7

一句话总结

该论文提出了一种新颖的低秩张量网格（TG）框架用于图像补全，利用投影纠缠对态（PEPS）结构来建模张量模式之间的复杂多向交互。通过采用两阶段密度矩阵变分法（2SDMRG）进行初始化，并结合交替最小二乘法（ALS）与并行矩阵分解，该方法在合成数据集和真实世界图像数据集上均实现了最先进的准确率与效率，优于TT、TR以及经典张量补全方法，在恢复质量与计算速度方面表现更优。

ABSTRACT

Tensor completion estimates missing components by exploiting the low-rank structure of multi-way data. The recently proposed methods based on tensor train (TT) and tensor ring (TR) show better performance in image recovery than classical ones. Compared with TT and TR, the projected entangled pair state (PEPS), which is also called tensor grid (TG), allows more interactions between different dimensions, and may lead to more compact representation. In this paper, we propose to perform image completion based on low-rank tensor grid. A two-stage density matrix renormalization group algorithm is used for initialization of TG decomposition, which consists of multiple TT decompositions. The latent TG factors can be alternatively obtained by solving alternating least squares problems. To further improve the computational efficiency, a multi-linear matrix factorization for low rank TG completion is developed by using parallel matrix factorization. Experimental results on synthetic data and real-world images show the proposed methods outperform the existing ones in terms of recovery accuracy.

研究动机与目标

• 解决现有张量补全方法在建模图像数据模式之间复杂多向交互方面的局限性。
• 探索张量网格（TG）——一种张量列车（TT）的二维张量网络推广形式——在图像恢复中用于低秩张量补全的潜力。
• 为基于TG的张量补全开发高效且准确的初始化与优化框架。
• 通过并行矩阵分解提升计算效率，同时保持高恢复准确率。
• 在多样化图像数据集上实证验证基于TG的补全方法相较于TT、TR及经典张量分解方法的优越性。

提出的方法

• 该方法采用两阶段密度矩阵变分法（2SDMRG）算法对张量网格（TG）分解进行初始化，利用多个张量列车（TT）分解实现稳定因子初始化。
• 通过交替最小二乘法（ALS）迭代优化潜在TG因子，求解涉及激活张量及其环境张量的二次子问题。
• 利用单层（SL）方法加速环境张量计算，以降低优化过程中的计算开销。
• 引入并行矩阵分解技术，通过将张量视为多个TG展开分量的加权和，实现高效的低秩TG近似。
• 通过在多个展开形式上同时更新TG因子，实现可扩展且分布式的计算。
• 通过最小化观测条目与重建低秩TG张量之间的拟合误差，将该框架应用于图像补全。

实验结果

研究问题

• RQ1 作为张量列车（TT）的二维推广，张量网格（TG）结构是否能为图像数据提供比现有张量网络更紧凑且更具表现力的表示？
• RQ2 2SDMRG初始化策略在多大程度上影响基于TG的张量补全的收敛性与准确率？
• RQ3 并行矩阵分解在多大程度上提升了低秩TG补全的计算效率，同时不牺牲准确率？
• RQ4 在真实世界图像与视频数据上，基于TG的补全方法相较于TT、TR、CP与t-SVD等最先进方法，在恢复准确率与运行时间方面表现如何？
• RQ5 TG框架在包括合成数据、彩色图像、高光谱图像以及高速视频序列在内的多种数据类型上是否保持鲁棒性？

主要发现

• 在爆炸视频数据集（10%观测条目）上，PMac-TG实现了最低的相对误差（RE = 0.139）与最快运行时间（34.32秒），优于ALS-TG、TR-ALS与TMac-TT。
• 对于合成数据，所提出的PMac-TG方法在TG秩为40时达到0.051的相对误差与21.63 dB的PSNR，显著优于TR-ALS（RE = 0.082，PSNR = 18.06 dB）与HaLRTC（RE = 0.836，PSNR = 8.58 dB）。
• A-PMac-TG变体表现出更高的相对误差（0.169）与更低的PSNR（25.75 dB），表明存在潜在的欠拟合，而PMac-TG在不同秩下均保持了强劲性能。
• 在爆炸视频数据上，PMac-TG在秩为40时达到27.42 dB的PSNR与0.139的RE，优于TMac-TT（RE = 0.145，PSNR = 27.26 dB）与TR-ALS（RE = 0.153，PSNR = 26.70 dB）。
• 该方法展现出良好的可扩展性与效率，PMac-TG在爆炸视频上的CPU时间范围为31至39.6秒，显著低于ALS-TG（最高5.9e3秒）与TR-ALS（最高1.62e4秒）。
• 结果证实，由于TG具有多项式相关性衰减与增强的模式间交互，其基于TG的补全提供了更优的表示能力，恢复准确率优于TT与TR等指数衰减模型。