[论文解读] Gated Fusion Network for Joint Image Deblurring and Super-Resolution

Xinyi Zhang, Hang Dong+4 more|arXiv (Cornell University)|Jul 27, 2018

Advanced Image Processing Techniques参考文献 44被引用 10

一句话总结

本文提出了一种门控融合网络（GFN），通过使用带有自适应特征融合的双分支卷积神经网络，联合执行图像去模糊和超分辨率重建。通过将去模糊与超分辨率解耦为独立的处理流，并利用可学习的门控模块在特征层面进行融合，GFN 在从模糊的低分辨率输入生成清晰、高分辨率图像方面表现出优越性能，在 PSNR 和推理速度方面均优于当前最先进方法。

ABSTRACT

Single-image super-resolution is a fundamental task for vision applications to enhance the image quality with respect to spatial resolution. If the input image contains degraded pixels, the artifacts caused by the degradation could be amplified by super-resolution methods. Image blur is a common degradation source. Images captured by moving or still cameras are inevitably affected by motion blur due to relative movements between sensors and objects. In this work, we focus on the super-resolution task with the presence of motion blur. We propose a deep gated fusion convolution neural network to generate a clear high-resolution frame from a single natural image with severe blur. By decomposing the feature extraction step into two task-independent streams, the dual-branch design can facilitate the training process by avoiding learning the mixed degradation all-in-one and thus enhance the final high-resolution prediction results. Extensive experiments demonstrate that our method generates sharper super-resolved images from low-resolution inputs with high computational efficiency.

研究动机与目标

• 为解决从因非均匀运动模糊而退化的低分辨率输入中恢复出高分辨率、清晰图像的挑战。
• 克服顺序或独立的超分辨率与去模糊方法的局限性，这些方法存在误差累积和特征利用不充分的问题。
• 设计一个端到端深度网络，通过利用任务特定的特征提取与自适应融合，联合优化去模糊与超分辨率。
• 与现有联合方法相比，提升自然图像中复杂模糊模式下的视觉质量与计算效率。

提出的方法

• 网络采用双分支架构：一个分支处理输入以进行去模糊，另一个分支用于超分辨率，从而实现任务特定的特征学习。
• 可学习的门控模块在特征层面而非强度层面融合两分支的特征，以避免因去模糊不完善而导致的误差传播。
• 去模糊分支包含专门的去模糊损失，用于正则化训练并提升收敛性。
• 在通过重建头生成最终的高分辨率输出图像之前，对特征进行融合。
• 通过结合感知损失与重建损失，采用端到端方式训练模型，以增强细节恢复与视觉质量。
• 通过共享特征提取路径并实现两个任务的联合优化，避免了冗余计算。

实验结果

研究问题

• RQ1 联合深度学习框架能否有效从低分辨率、非均匀模糊输入中恢复出高分辨率、清晰图像？
• RQ2 与强度层面融合或顺序处理相比，使用可学习门控模块的特征层面融合在性能与鲁棒性方面表现如何？
• RQ3 将去模糊与超分辨率解耦为独立但同步的分支，是否相比单体模型能提升训练稳定性与最终图像质量？
• RQ4 引入去模糊专用损失与模块，在复杂模糊条件下是否显著增强网络恢复细微细节的能力？
• RQ5 在真实世界与合成模糊图像数据集上，所提出的 GFN 与最先进方法相比，在效率与准确性方面表现如何？

主要发现

• 在 LR-GOPRO 数据集上，所提出的 GFN 实现了 29.02 dB 的 PSNR 与 0.929 的 SSIM，显著优于次优方法 ED-DSRN（26.07 dB PSNR 与 0.896 SSIM）。
• 通过集成去模糊损失与双分支设计，GFN 相比基线 SRResNet 在 PSNR 上提升了 1.72 dB。
• 与无门控模块的基线相比，采用门控模块的特征层面融合使性能提升 0.2 dB，证明了自适应融合的有效性。
• GFN 每张图像的推理时间仅为 0.05 秒，与单任务模型相当，表明其具有极高的计算效率。
• 视觉对比显示，与最先进方法相比，GFN 生成的图像更清晰，保留并增强了更多精细细节，尤其在真实世界模糊图像上表现更优。
• 消融实验表明，每个组件——去模糊损失、双分支设计、特征层面融合与门控模块——均对性能有逐步贡献，其中门控模块带来的边际增益最大。