[论文解读] Deep Blind Image Inpainting

Yang Liu, Jinshan Pan+1 more|arXiv (Cornell University)|Dec 25, 2017

Advanced Image Processing Techniques参考文献 26被引用 7

一句话总结

本文提出了一种基于深度学习的盲图像修复方法，能够在不了解缺失区域位置的情况下，从受损输入中恢复出清晰的图像。通过采用带有残差学习的编码器-解码器架构以及基于 $L_1$ 的鲁棒损失函数，模型利用提取的梯度和上下文特征预测缺失内容，在基准数据集上实现了最先进的性能，PSNR 和 SSIM 分数均较高。

ABSTRACT

Image inpainting is a challenging problem as it needs to fill the information of the corrupted regions. Most of the existing inpainting algorithms assume that the positions of the corrupted regions are known. Different from the existing methods that usually make some assumptions on the corrupted regions, we present an efficient blind image inpainting algorithm to directly restore a clear image from a corrupted input. Our algorithm is motivated by the residual learning algorithm which aims to learn the missing infor- mation in corrupted regions. However, directly using exist- ing residual learning algorithms in image restoration does not well solve this problem as little information is available in the corrupted regions. To solve this problem, we introduce an encoder and decoder architecture to capture more useful information and develop a robust loss function to deal with outliers. Our algorithm can predict the missing information in the corrupted regions, thus facilitating the clear image restoration. Both qualitative and quantitative experimental demonstrate that our algorithm can deal with the corrupted regions of arbitrary shapes and performs favorably against state-of-the-art methods.

研究动机与目标

• 为解决在真实应用场景中缺失区域位置未知时图像修复的挑战，这是常见限制。
• 开发一种端到端的深度学习框架，直接从受损输入中恢复清晰图像，而无需依赖预先分割的掩码。
• 通过编码器-解码器架构捕捉上下文和结构特征，以提升修复质量。
• 通过设计新型损失函数，增强对受损区域中异常值的鲁棒性。
• 在任意形状的受损区域上实现优于现有最先进方法的性能。

提出的方法

• 该方法采用具有编码器-解码器架构的深度卷积神经网络，从受损图像中提取并重建上下文特征。
• 应用残差学习，通过学习受损图像与真实图像之间的差异，预测受损区域的缺失内容。
• 从输入中预先提取图像梯度，并将其作为先验信息，以指导特征学习并改善边缘恢复。
• 使用基于 $L_1$-范数的鲁棒损失函数，以减小受损区域中异常值的影响，提升训练稳定性和泛化能力。
• 网络以端到端方式训练，实现从受损输入直接预测完整清晰图像。
• 通过编码器-解码器路径中的跳跃连接和多尺度特征学习，同时利用全局上下文和局部细节。

实验结果

研究问题

• RQ1 当缺失区域位置未知时，深度神经网络能否从受损输入中恢复出清晰图像？
• RQ2 带有残差学习的编码器-解码器架构在捕捉上下文和结构信息方面，对盲图像修复的有效性如何？
• RQ3 将预先提取的图像梯度纳入模型，是否能提升恢复边缘和纹理的质量？
• RQ4 与 $L_2$ 损失相比，基于 $L_1$ 的损失函数在处理异常值和保留受损区域图像细节方面表现如何？
• RQ5 所提方法能否在大范围、任意形状的受损区域上实现泛化，并优于现有最先进方法？

主要发现

• 在 Set14 基准数据集上，所提方法的 PSNR 达到 37.9356，SSIM 达到 0.9845，优于基线模型。
• 引入预先提取的梯度可改善结构恢复，使边缘更清晰，重建更准确，视觉对比和定量指标均显示其优势。
• 基于 $L_1$ 的损失函数相比 $L_2$ 损失，收敛更稳定，产生的伪影更少，训练和验证损失值更低。
• 网络在 50 个周期内实现稳定收敛，表明训练效率高且优化鲁棒。
• 在多个数据集上的定性和定量评估中，该方法在性能上优于现有最先进算法。
• 当关键结构元素（如面部特征）受到严重损坏时，会出现失败案例，表明其在处理独特、高层语义结构方面存在局限。