[论文解读] Concatenated image completion via tensor augmentation and completion

Johann A. Bengua, Hoang Duong Tuan+2 more|arXiv (Cornell University)|Jul 14, 2016

Tensor decomposition and applications参考文献 24被引用 3

一句话总结

本文提出ICTAC，一种新颖的高精度彩色图像修复框架，通过将单个图像的多个缺失条目副本拼接成高阶张量，结合张量列车（TT）秩的ket增强（KA）与TMac-TT完成方法。该方法在定量指标和视觉质量上均优于SOTA算法如KA+TMac-TT与SPC-QV，尤其在保留发丝、边缘等精细细节方面表现更优。

ABSTRACT

This paper proposes a novel framework called concatenated image completion via tensor augmentation and completion (ICTAC), which recovers missing entries of color images with high accuracy. Typical images are second- or third-order tensors (2D/3D) depending if they are grayscale or color, hence tensor completion algorithms are ideal for their recovery. The proposed framework performs image completion by concatenating copies of a single image that has missing entries into a third-order tensor, applying a dimensionality augmentation technique to the tensor, utilizing a tensor completion algorithm for recovering its missing entries, and finally extracting the recovered image from the tensor. The solution relies on two key components that have been recently proposed to take advantage of the tensor train (TT) rank: A tensor augmentation tool called ket augmentation (KA) that represents a low-order tensor by a higher-order tensor, and the algorithm tensor completion by parallel matrix factorization via tensor train (TMac-TT), which has been demonstrated to outperform state-of-the-art tensor completion algorithms. Simulation results for color image recovery show the clear advantage of our framework against current state-of-the-art tensor completion algorithms.

研究动机与目标

• 解决直接应用ket增强（KA）导致彩色图像张量修复中出现的块状伪影问题。
• 利用单个图像多个拼接副本中的结构模式，提升张量修复性能。
• 构建一个结合图像拼接、改进的ket增强与基于TT秩的张量修复的框架，以实现更优的图像恢复效果。
• 在彩色图像恢复任务中，证明该框架优于现有SOTA张量修复方法。
• 在修复过程中最小化视觉失真，同时保留纹理与边缘等精细图像细节。

提出的方法

• 将C个相同颜色图像（含缺失条目）拼接成一个三阶张量，形成更高阶结构。
• 应用改进的ket增强（KA）技术，将拼接后的张量转换为更高阶张量（最多10个模式），以利用张量列车（TT）秩结构。
• 采用基于张量列车秩与并行矩阵分解的TMac-TT算法，对增强后的张量进行低秩张量修复。
• 通过在拼接副本间对原始空间维度进行平均或重构，从恢复后的张量中提取完成的图像。
• 采用基于张量列车秩的平衡矩阵化方案，相比非平衡的Tucker基方法，提升修复精度。
• 使用VST（虚拟空间张量）变换，将拼接后的张量重新组织为适合高效KA应用与基于TT处理的形式。

实验结果

研究问题

• RQ1 与单图处理相比，将多个含缺失条目的图像副本拼接是否能提升张量修复性能？
• RQ2 在拼接张量结构上应用改进的ket增强（KA）是否能提升对边缘与纹理等精细图像细节的恢复能力？
• RQ3 ICTAC框架在定量指标（RSE、SSIM）与视觉质量方面，与KA+TMac-TT及SPC-QV相比表现如何？
• RQ4 所提框架在多大程度上减少了基于TT秩的修复方法中常见的块状伪影？
• RQ5 是否存在一个最优的图像副本数量（C），可在不引入伪影或计算开销的前提下最大化修复精度？

主要发现

• 对于缺失80%条目的Lena图像，ICTAC在SSIM上达到0.983，RSE为0.048，两项指标均优于KA+TMac-TT与SPC-QV。
• 在90%缺失条目情况下，ICTAC在SSIM与RSE上仍优于KA+TMac-TT，后者在所有方法中表现最差。
• 视觉结果表明，ICTAC在保留发丝与面部特征等精细细节方面优于SPC-QV，后者表现出明显的模糊与褪色现象。
• 尽管SPC-QV生成了更平滑的纹理，但其在边缘与复杂纹理区域存在细节丢失与图像模糊问题。
• 与KA+TMac-TT相比，ICTAC显著减少了块状伪影，后者即使在较低缺失率下仍保留明显伪影。
• 该框架成功缓解了修复过程中的失真，仅在最终将张量重构成原始图像尺寸后出现少量伪影。