[论文解读] Image Inpainting Using Directional Tensor Product Complex Tight Framelets

Yi Shen, Bin Han+1 more|arXiv (Cornell University)|Jul 11, 2014

Image and Signal Denoising Methods参考文献 24被引用 8

一句话总结

本文提出了一种基于方向张量积复紧框架（TP-CTFs）的新型图像修复算法，可同时重建自然图像中的素描与纹理。通过在平衡方法中利用分组效应——结合l1-正则化以实现稀疏性，以及l2-正则化以实现平滑性——该方法在噪声条件下显著优于当前最先进的基于框架的算法。

ABSTRACT

In this paper we are particularly interested in the image inpainting problem using directional complex tight wavelet frames. Under the assumption that frame coefficients of images are sparse, several iterative thresholding algorithms for the image inpainting problem have been proposed in the literature. The outputs of such iterative algorithms are closely linked to solutions of several convex minimization models using the balanced approach which simultaneously combines the $l_1$-regularization for sparsity of frame coefficients and the $l_2$-regularization for smoothness of the solution. Due to the redundancy of a tight frame, elements of a tight frame could be highly correlated and therefore, their corresponding frame coefficients of an image are expected to close to each other. This is called the grouping effect in statistics. In this paper, we establish the grouping effect property for frame-based convex minimization models using the balanced approach. This result on grouping effect partially explains the effectiveness of models using the balanced approach for several image restoration problems. Inspired by recent development on directional tensor product complex tight framelets (TP-CTFs) and their impressive performance for the image denoising problem, in this paper we propose an iterative thresholding algorithm using a single tight frame derived from TP-CTFs for the image inpainting problem. Experimental results show that our proposed algorithm can handle well both cartoons and textures simultaneously and performs comparably and often better than several well-known frame-based iterative thresholding algorithms for the image inpainting problem without noise. For the image inpainting problem with additive zero-mean i.i.d. Gaussian noise, our proposed algorithm using TP-CTFs performs superior than other known state-of-the-art frame-based image inpainting algorithms.

研究动机与目标

• 开发一种基于单帧的图像修复方法，有效处理自然图像中的素描与纹理分量。
• 在基于框架的凸优化最小化背景下，建立平衡方法的分组效应性质的理论基础。
• 通过利用方向性TP-CTFs，提升在加性i.i.d.高斯噪声下的图像修复性能。
• 证明基于TP-CTFs的单一紧框架在同时修复素描与纹理方面可优于多框架方法。

提出的方法

• 采用方向性张量积复紧框架（TP-CTFs）作为单一冗余紧框架，用于图像中素描与纹理分量的稀疏表示。
• 应用基于凸优化模型的迭代阈值算法，结合l1-正则化以实现稀疏性与l2-正则化以实现平滑性——即平衡方法。
• 利用TP-CTFs的能量保持特性和冗余性，提升重建保真度，并通过冗余性增强相关框架系数的分组效果。
• 推导并证明了在冗余紧框架背景下，平衡方法的分组效应性质，解释其在图像修复中的有效性。
• 采用原始-对偶分裂算法高效求解凸优化问题。
• 采用固定点阈值策略并自适应调节参数，针对每幅图像和噪声水平进行调整，避免手动选择参数。

实验结果

研究问题

• RQ1 基于单一方向性TP-CTF的紧框架能否有效重建图像修复中的素描与纹理分量？
• RQ2 在冗余紧框架系统中，平衡方法（l1 + l2正则化）是否表现出分组效应？其对图像修复性能有何影响？
• RQ3 在PSNR和视觉质量方面，该算法与当前最先进的基于框架的修复方法相比如何，尤其是在噪声条件下？
• RQ4 平衡方法中的理论分组效应性质是否能解释此类模型在图像修复中经验成功的机制？

主要发现

• 在无噪声条件下，该算法在标准测试图像（如Hill、Man、Boat、Barbara和Mandrill）上的PSNR值高于现有基于框架的方法。
• 在i.i.d.零均值高斯噪声（σ = 30）下，该算法在Hill图像（mask Text 3）上的PSNR达到27.84，优于所有对比方法。
• 在50%像素随机缺失的情况下，该算法在Hill图像上的PSNR达到28.14，优于[3, 4, 5, 16, 23]在所有测试情况下的表现。
• 在高噪声条件下（σ = 50），该算法在Hill图像（mask Text 3）上达到25.56的PSNR，显著优于其他方法。
• 理论分析证明了在冗余紧框架背景下，平衡方法的分组效应性质，为该方法在图像修复中的有效性提供了部分理论解释。
• 视觉结果与局部放大对比表明，该算法在保留精细纹理和锐利边缘方面优于竞争方法，尤其在Barbara的裙子和Man的面部特征等复杂区域表现更优。