[论文解读] DeepDeblur: Fast one-step blurry face images restoration

Lingxiao Wang, Yali Li+1 more|arXiv (Cornell University)|Nov 27, 2017

Advanced Image Processing Techniques参考文献 26被引用 9

一句话总结

本文提出 DeepDeblur，一种用于快速有效恢复模糊人脸图像的一阶段卷积神经网络（CNN），绕过了传统的两阶段核估计与反卷积方法。通过在多样化的随机生成模糊核上进行训练，并引入平滑性与人脸身份正则化，该方法在小尺寸人脸图像上实现了最先进性能，在保持高 PSNR 和验证准确率的同时，将人脸识别准确率提升超过 100 倍。

ABSTRACT

We propose a very fast and effective one-step restoring method for blurry face images. In the last decades, many blind deblurring algorithms have been proposed to restore latent sharp images. However, these algorithms run slowly because of involving two steps: kernel estimation and following non-blind deconvolution or latent image estimation. Also they cannot handle face images in small size. Our proposed method restores sharp face images directly in one step using Convolutional Neural Network. Unlike previous deep learning involved methods that can only handle a single blur kernel at one time, our network is trained on totally random and numerous training sample pairs to deal with the variances due to different blur kernels in practice. A smoothness regularization as well as a facial regularization are added to keep facial identity information which is the key to face image applications. Comprehensive experiments demonstrate that our proposed method can handle various blur kenels and achieve state-of-the-art results for small size blurry face images restoration. Moreover, the proposed method shows significant improvement in face recognition accuracy along with increasing running speed by more than 100 times.

研究动机与目标

• 解决两阶段盲去模糊方法在处理小尺寸、低对比度人脸图像时速度慢且易失效的局限性。
• 克服基于深度学习的去模糊方法在泛化性上的障碍，后者通常仅能处理固定或特定类型的模糊核。
• 在去模糊过程中保留面部身份，以提升下游人脸识别性能。
• 通过显著提升速度，使去模糊技术能够实现实时应用于人脸识别系统。

提出的方法

• 提出一种多尺度深度残差网络，结合 Inception 模块，可在单次端到端推理中处理各种模糊核。
• 在大规模随机生成的模糊核与对应清晰图像对数据集上训练网络，以提升对多样化模糊类型的泛化能力。
• 引入两项正则化项：总变差（TV）正则化以保证平滑性，以及面部结构损失以保留与身份相关的关键特征。
• 采用深度可分离卷积，使模型参数量减少约 40%，且不损失性能。
• 使用组合损失函数：L2 损失 + TV 损失 + 人脸身份损失，通过自适应加权平衡纹理保真度与身份保留。
• 消除对迭代核估计或后处理的依赖，实现直接的一阶段推理。

实验结果

研究问题

• RQ1 是否可以训练单一 CNN，在无需先验核估计的前提下，对广泛未知的模糊核实现模糊人脸图像的恢复？
• RQ2 如何在图像去模糊过程中保留面部身份，以提升人脸识别准确率？
• RQ3 一阶段深度学习方法是否能在小尺寸人脸图像上，同时实现比两阶段去模糊方法更高的速度与质量？
• RQ4 哪些正则化策略最有效，可在保持身份特征的同时防止过度平滑与伪影？
• RQ5 在随机核上训练的模型，对未见过的模糊类型（如线性运动模糊）的泛化能力如何？

主要发现

• 在 LFW 数据集上，经恢复后模型的验证准确率达到 97.75%，显著优于模糊输入（22.83% 准确率）及其他最先进方法。
• 在 LFW 基准测试中，模型恢复图像的 PSNR 达到 25.63 dB，表明图像质量有显著提升。
• 该方法比以往去模糊算法快超过 100 倍，适用于实时人脸识别应用。
• 即使在训练中未见过的线性运动模糊核（L=15，角度=45°）上测试，模型仍能生成合理结果并保持高 PSNR，表明其具有强大泛化能力。
• 消融实验表明，若移除深度可分离卷积，PSNR 下降 2.58 dB，验证准确率下降 9.25%，证明其在效率与性能方面的重要性。
• 最优正则化权重（α/β ≈ 1）可平衡纹理细节与平滑性；极端值会导致伪影或过度平滑，证实需谨慎调整超参数。