[论文解读] Deep Generalized Unfolding Networks for Image Restoration

Chong Mou, Qian Wang+1 more|arXiv (Cornell University)|Apr 28, 2022

Advanced Image Processing Techniques被引用 14

一句话总结

该论文提出深度广义展开网络（DGUNet），一种可微分、可解释的深度学习框架，通过集成可学习梯度估计模块和跨阶段特征融合，将近端梯度下降（PGD）推广至图像恢复任务。该方法在去噪、去雨、压缩感知等多种图像恢复任务中均实现了最先进性能，同时保持了透明性，并对真实世界复杂退化具有鲁棒性，且无需预设退化模型。

ABSTRACT

Deep neural networks (DNN) have achieved great success in image restoration. However, most DNN methods are designed as a black box, lacking transparency and interpretability. Although some methods are proposed to combine traditional optimization algorithms with DNN, they usually demand pre-defined degradation processes or handcrafted assumptions, making it difficult to deal with complex and real-world applications. In this paper, we propose a Deep Generalized Unfolding Network (DGUNet) for image restoration. Concretely, without loss of interpretability, we integrate a gradient estimation strategy into the gradient descent step of the Proximal Gradient Descent (PGD) algorithm, driving it to deal with complex and real-world image degradation. In addition, we design inter-stage information pathways across proximal mapping in different PGD iterations to rectify the intrinsic information loss in most deep unfolding networks (DUN) through a multi-scale and spatial-adaptive way. By integrating the flexible gradient descent and informative proximal mapping, we unfold the iterative PGD algorithm into a trainable DNN. Extensive experiments on various image restoration tasks demonstrate the superiority of our method in terms of state-of-the-art performance, interpretability, and generalizability. The source code is available at https://github.com/MC-E/Deep-Generalized-Unfolding-Networks-for-Image-Restoration.

研究动机与目标

• 为解决现有黑箱深度神经网络在图像恢复中可解释性与泛化能力不足的问题。
• 克服现有深度展开网络（DUNs）依赖已知或手工设计退化模型的局限性。
• 缓解DUNs中因在每个阶段重建图像而导致的固有信息损失，该过程会扭曲特征表示。
• 实现端到端训练的结构化、基于优化的网络，使其能泛化至复杂真实世界图像退化。
• 结合基于模型方法的可解释性与深度学习的表征能力与效率。

提出的方法

• 该方法将图像恢复建模为使用近端梯度下降（PGD）的优化问题，随后将其展开为深度神经网络架构。
• 提出灵活梯度下降模块（FGDM），用于在退化未知场景中估计梯度，使网络能够在不了解退化矩阵A的情况下处理复杂真实世界退化。
• 设计跨阶段特征融合路径（ISFF），以在PGD迭代过程中保留并传播多尺度、空间自适应特征，从而抵消每个阶段图像重建导致的信息损失。
• ISFF模块采用空间自适应归一化，动态加权来自不同尺度的特征，提升特征表示的保真度。
• 整个网络采用端到端训练，实现展开过程与学习组件（包括FGDM和ISFF模块）的联合优化。
• 通过相应调整数据保真项与正则化项，将该框架应用于多种图像恢复任务——去噪、去模糊、去雨、压缩感知。

Figure 1 : Real image denoising performance (y-axis) of our DGUNet and some recent denoisers (VDNet [ 75 ] , GDANet [ 76 ] , AINDNet [ 33 ] , MIRNet [ 78 ] , DeamNet [ 53 ] , MPRNet [ 79 ] ) under different parameter capacities (x-axis) on DND [ 52 ] dataset.

实验结果

研究问题

• RQ1 能否在无需显式退化建模的前提下，使深度展开网络对复杂真实世界图像退化保持鲁棒性？
• RQ2 如何有效缓解深度展开网络中因在每个阶段重建图像而导致的信息损失？
• RQ3 引入可学习梯度估计模块在图像恢复中对性能与泛化能力的提升程度如何？
• RQ4 结合多尺度与空间自适应机制的跨阶段特征融合，是否能增强特征表示与模型性能？
• RQ5 可微分、基于优化的深度网络能否在保持可解释性的同时实现最先进性能？

主要发现

• 在DND数据集上，DGUNet的PSNR性能优于MPRNet 0.32 dB，达到最先进水平。
• 在SIDD数据集上，DGUNet的PSNR性能优于MPRNet 0.20 dB，展现出对真实世界噪声的强大鲁棒性。
• 在1%采样率的压缩感知任务中，DGUNet相比OPINENet+实现2 dB的性能增益，凸显其在低采样率场景下的有效性。
• 消融实验表明，移除ISFF模块会导致性能下降，证实其在跨阶段保留特征信息中的关键作用。
• FGDM模块对性能贡献显著，因为在Rain100H数据集上移除该模块会导致PSNR下降0.55 dB，证明其价值不仅限于可解释性。
• 该方法在多样化任务中泛化能力出色，包括合成与真实世界基准，PSNR与SSIM指标均保持一致提升。

Figure 2 : Illustration of our proposed deep generalized unfolding network (DGUNet). We present the overall architecture in the first row, mainly composed of several stages. Each stage corresponds to an iteration in the PGD algorithm. The second row presents the detailed design of each stage, contai