[论文解读] Clean Images are Hard to Reblur: Exploiting the Ill-Posed Inverse Task for Dynamic Scene Deblurring

Seungjun Nah, Sanghyun Son+2 more|arXiv (Cornell University)|Apr 26, 2021

Advanced Image Processing Techniques被引用 8

一句话总结

本文提出了一种用于动态场景去模糊的新型重模糊损失，通过利用去模糊的逆向任务直接针对图像模糊性。通过联合训练去模糊网络与重模糊模块，该方法结合监督与自监督损失，显著提升了感知清晰度，在GOPRO和REDS基准上实现了最先进性能，LPIPS与NIQE得分均有显著提升。

ABSTRACT

The goal of dynamic scene deblurring is to remove the motion blur in a given image. Typical learning-based approaches implement their solutions by minimizing the L1 or L2 distance between the output and the reference sharp image. Recent attempts adopt visual recognition features in training to improve the perceptual quality. However, those features are primarily designed to capture high-level contexts rather than low-level structures such as blurriness. Instead, we propose a more direct way to make images sharper by exploiting the inverse task of deblurring, namely, reblurring. Reblurring amplifies the remaining blur to rebuild the original blur, however, a well-deblurred clean image with zero-magnitude blur is hard to reblur. Thus, we design two types of reblurring loss functions for better deblurring. The supervised reblurring loss at training stage compares the amplified blur between the deblurred and the sharp images. The self-supervised reblurring loss at inference stage inspects if there noticeable blur remains in the deblurred. Our experimental results on large-scale benchmarks and real images demonstrate the effectiveness of the reblurring losses in improving the perceptual quality of the deblurred images in terms of NIQE and LPIPS scores as well as visual sharpness.

研究动机与目标

• 为解决现有基于学习的去模糊方法在使用L1、L2或感知损失时仍难以生成感知清晰图像的局限性。
• 识别出清晰图像本身极难被重模糊，因此重模糊可作为残余模糊的敏感指标。
• 提出一种新的优化目标——重模糊损失，直接针对低层次模糊性，而非高层语义。
• 通过利用重模糊模块在无真实标签的情况下优化去模糊输出，实现测试时的自监督适应。

提出的方法

• 该方法提出双分支网络框架：一个去模糊网络与一个执行去模糊逆操作的重模糊网络。
• 监督式重模糊损失比较去模糊输出与真实清晰图像之间的模糊增强程度，促使去模糊网络最小化残余模糊。
• 自监督重模糊损失评估去模糊图像是否可被重模糊，从而实现在无真实标签情况下的测试时适应。
• 重模糊模块被训练为从去模糊输出重建原始模糊图像，其成功程度可反映残余模糊的存在。
• 损失函数被集成到SRN和U-Net等现有架构中，通过重模糊监督增强模型性能。
• 测试时适应通过迭代最小化重模糊损失，对去模糊图像进行优化，从而在真实世界图像上提升清晰度。

实验结果

研究问题

• RQ1 重模糊能否作为去模糊图像中残余模糊的敏感且直接的指标？
• RQ2 去模糊的逆向任务（即重模糊）如何用于提升去模糊图像的感知质量？
• RQ3 自监督重模糊损失能否在无真实标签监督的情况下实现有效的测试时适应？
• RQ4 重模糊损失是否在提升视觉清晰度与低层次图像质量方面优于传统感知损失（如VGG、对抗性损失）？
• RQ5 该方法能否在合成数据集之外的真实世界模糊图像上实现泛化？

主要发现

• 在GOPRO数据集上，采用自监督重模糊损失的方法取得LPIPS为0.1037、NIQE为4.887的性能，优于基线L1损失（LPIPS：0.1246，NIQE：5.252）。
• 通过测试时适应，该方法在PSNR与感知指标之间实现了更优权衡，相比基线与对抗性损失，取得了更高的PSNR以及更低的LPIPS/NIQE。
• 在REDS数据集上，使用重模糊损失的U-Net架构实现了29.47的PSNR与0.8839的SSIM，优于L1基线。
• 自监督重模糊损失在Lai等人（2016）提供的真实世界图像上实现了显著的视觉提升，生成了更清晰的纹理与更精细的细节。
• 重模糊损失在多种架构（SRN、U-Net）上均持续提升感知质量，展现出良好的泛化性与鲁棒性。
• 定性结果表明，采用重模糊损失去模糊的图像在视觉上明显更清晰，模糊程度低于DeblurGAN-v2及其他最先进方法。