[论文解读] AT-DDPM: Restoring Faces degraded by Atmospheric Turbulence using Denoising Diffusion Probabilistic Models

Nithin Gopalakrishnan Nair, Kangfu Mei+1 more|arXiv (Cornell University)|Aug 24, 2022

Advanced Image Processing Techniques被引用 9

一句话总结

本文提出AT-DDPM，这是首个基于去噪扩散概率模型（DDPM）的方法，用于恢复受大气湍流退化的面部图像。通过利用在干净面部图像上预训练的DDPM，并采用渐进式训练的知识蒸馏方法，该模型学习从湍流输入中重建出逼真、高保真度的面部图像，采用一种新颖的高效采样策略，从失真图像开始生成，从而在合成数据集和真实世界数据集上均实现了最先进性能。

ABSTRACT

Although many long-range imaging systems are designed to support extended vision applications, a natural obstacle to their operation is degradation due to atmospheric turbulence. Atmospheric turbulence causes significant degradation to image quality by introducing blur and geometric distortion. In recent years, various deep learning-based single image atmospheric turbulence mitigation methods, including CNN-based and GAN inversion-based, have been proposed in the literature which attempt to remove the distortion in the image. However, some of these methods are difficult to train and often fail to reconstruct facial features and produce unrealistic results especially in the case of high turbulence. Denoising Diffusion Probabilistic Models (DDPMs) have recently gained some traction because of their stable training process and their ability to generate high quality images. In this paper, we propose the first DDPM-based solution for the problem of atmospheric turbulence mitigation. We also propose a fast sampling technique for reducing the inference times for conditional DDPMs. Extensive experiments are conducted on synthetic and real-world data to show the significance of our model. To facilitate further research, all codes and pretrained models are publically available at http://github.com/Nithin-GK/AT-DDPM

研究动机与目标

• 为解决大气湍流导致的面部图像模糊和几何失真问题。
• 克服现有基于CNN和GAN的方法的局限性，包括训练不稳定、模式崩溃以及在真实世界数据上的泛化能力差。
• 探索去噪扩散概率模型（DDPM）作为图像恢复任务中稳定且高质量的生成先验的潜力。
• 通过一种新颖的采样策略，从湍流图像而非纯噪声开始，减少DDPM典型的缓慢推理时间。
• 通过基于持续学习的知识蒸馏框架，提升在强湍流场景下的重建保真度和身份一致性。

提出的方法

• 通过知识蒸馏对预训练的DDPM进行微调，以在大规模干净面部图像数据集上执行面部图像超分辨率。
• 进一步通过知识蒸馏将超分辨率模型适配为学习在给定湍流输入下，干净面部的条件分布。
• 引入渐进式训练（PT）框架，通过逐步适应模型至恢复任务，从而稳定训练并提升重建质量。
• 提出一种高效采样策略，将反向扩散过程的初始状态从纯高斯噪声改为湍流输入图像，从而提升身份一致性。
• 通过确保生成面部在面部结构上与输入保持接近，强制实现特征一致性，即使在强湍流条件下亦然。
• 模型利用学习到的真实面部流形，即使在输入严重退化时，也能生成照片级真实感输出。

Figure 2 : An overview of the proposed approach, during the training process, we perform knowledge distillation to transfer class prior information from a network trained for image super-resolution on a large dataset to the network for removing turbulence degradation. During inference, rather than s

实验结果

研究问题

• RQ1 DDPM能否有效适配为单张面部图像大气湍流抑制任务中的生成先验？
• RQ2 渐进式知识蒸馏在提升基于DDPM的湍流输入图像恢复质量与稳定性方面有何作用？
• RQ3 与从纯噪声开始相比，从湍流图像初始化DDPM反向扩散过程是否能改善身份保持并减少推理时间？
• RQ4 在真实世界数据上，该方法与基于GAN和CNN的方法在视觉质量、保真度和鲁棒性方面相比如何？
• RQ5 高效采样策略对推理速度和输出一致性有何影响？

主要发现

• 所提出的AT-DDPM模型在合成数据集（LRFID）和真实世界数据集（BRIAR）上均实现了最先进性能，在视觉质量和结构保真度方面优于现有方法。
• 在LRFID数据集上，采用渐进式训练的模型实现了54.8%的Top-1面部验证准确率，显著优于未使用渐进式训练的48.7%。
• NIQE（一种无参考图像质量度量）从无PT时的6.985降低至6.824，表明感知质量得到改善。
• LPIPS分数从0.5358降至0.5255，表明重建图像与真实图像之间的感知相似性更好。
• 高效采样策略在保持高质量输出的同时减少了推理时间，该结论通过面部验证准确率的误差棒分析得到验证。
• 定性结果表明，AT-DDPM在身份保持方面优于GFPGAN、LTTGAN和ATNet，避免了色彩偏移和伪影生成。

(a) Distorted