[论文解读] Learning to Restore a Single Face Image Degraded by Atmospheric Turbulence using CNNs

Rajeev Yasarla, Vishal M. Patel|arXiv (Cornell University)|Jul 16, 2020

Advanced Image Processing Techniques参考文献 35被引用 15

一句话总结

该论文提出了一种深度学习框架——湍流畸变去除网络（TDRN），用于恢复因大气湍流而退化的单张人脸图像。该方法通过独立的网络估计模糊和几何畸变先验，然后使用一种结合一阶和二阶梯度与置信图的新损失函数来提升恢复效果，在真实和合成数据上均实现了当前最优的PSNR（25.04 dB）。

ABSTRACT

Atmospheric turbulence significantly affects imaging systems which use light that has propagated through long atmospheric paths. Images captured under such condition suffer from a combination of geometric deformation and space varying blur. We present a deep learning-based solution to the problem of restoring a turbulence-degraded face image where prior information regarding the amount of geometric distortion and blur at each location of the face image is first estimated using two separate networks. The estimated prior information is then used by a network called, Turbulence Distortion Removal Network (TDRN), to correct geometric distortion and reduce blur in the face image. Furthermore, a novel loss is proposed to train TDRN where first and second order image gradients are computed along with their confidence maps to mitigate the effect of turbulence degradation. Comprehensive experiments on synthetic and real face images show that this framework is capable of alleviating blur and geometric distortion caused by atmospheric turbulence, and significantly improves the visual quality. In addition, an ablation study is performed to demonstrate the improvements obtained by different modules in the proposed method.

研究动机与目标

• 解决在缺乏时间序列信息的情况下，恢复因大气湍流而退化的单张人脸图像的挑战。
• 克服现有方法依赖图像序列或无法同时处理模糊与几何畸变的局限性。
• 开发一种利用先验信息（特别是模糊和畸变先验）来提升单帧湍流退化人脸图像恢复质量的方法。
• 设计一种新型损失函数，结合一阶和二阶图像梯度与置信图，以增强边缘和纹理的恢复效果。
• 证明所提出的先验和损失函数在多种恢复架构中的泛化能力。

提出的方法

• 训练两个独立的卷积神经网络（CNN）从单张湍流退化的人脸图像中估计模糊先验（b）和几何畸变先验（d）。
• 在去模糊网络中使用蒙特卡洛丢弃法估计主体性不确定性，该结果用作损失函数中梯度的置信图。
• 将模糊先验（b）和畸变先验（d）作为额外输入通道集成到主恢复网络TDRN中。
• 提出一种新型最终损失函数 $\mathcal{L}_{final}$，结合L1损失、感知损失和一种基于梯度的损失 $\mathcal{L}_g$，后者使用水平、垂直和结构梯度并结合置信图。
• 使用 $\mathcal{L}_{final}$ 端到端训练TDRN，以联合优化保真度、感知质量和清晰度。
• 将先验（b和d）应用于其他最先进去模糊网络（如Pix2Pix、Kupyn et al.）以证明其泛化能力与性能提升。

实验结果

研究问题

• RQ1 当缺乏时间序列时，深度学习框架能否有效恢复因大气湍流而退化的单张人脸图像？
• RQ2 与未使用此类先验的方法相比，学习得到的模糊和几何畸变先验在提升恢复质量方面的有效性如何？
• RQ3 结合一阶和二阶图像梯度与置信图，在多大程度上能增强恢复图像的清晰度和视觉质量？
• RQ4 所提出的先验和损失函数能否泛化应用于除TDRN架构外的现有图像恢复网络？
• RQ5 各组件（先验、置信图、基于梯度的损失）对整体恢复框架性能的贡献分别是什么？

主要发现

• 所提出的TDRN框架在CelebA测试集上实现了25.04 dB的PSNR，显著优于基线方法和最先进方法。
• 将模糊先验（b）加入基础网络后，PSNR提升了1.4 dB；同时加入模糊和畸变先验（b和d）后，PSNR再提升0.8 dB。
• 使用完整的 $\mathcal{L}_{final}$ 损失函数后，PSNR进一步提升0.5 dB，证明了结合置信图的基于梯度的损失的有效性。
• 消融实验证实，随着每个新增组件的引入，图像质量逐步提升，当同时使用两个先验和 $\mathcal{L}_{final}$ 时达到最佳效果。
• 当应用于其他最先进方法（如Pix2Pix、Kupyn et al.）时，使用b和d先验可使PSNR提升约1 dB，表明其具有强大的泛化能力。
• 视觉结果表明，TDRN能有效减少模糊和几何畸变，相比现有方法生成更清晰、更逼真的人脸图像，即使在真实湍流退化图像上也表现优异。