[论文解读] Dynamically Unfolding Recurrent Restorer: A Moving Endpoint Control Method for Image Restoration

Xiaoshuai Zhang, Yiping Lu+2 more|arXiv (Cornell University)|Jan 1, 2018

Image and Signal Denoising Methods参考文献 35被引用 22

一句话总结

本文提出了一种新型图像复原框架——动态展开循环复原器（DURR），通过移动终点控制机制，自适应地确定每张输入图像的最优复原步数。通过将图像复原建模为由循环神经网络控制的连续时间动态系统，并利用策略网络学习终端时间，DURR 在盲图像去噪和JPEG去块效应处理方面实现了最先进性能，同时在训练分布之外的未见退化水平上也展现出稳健的泛化能力。

ABSTRACT

In this paper, we propose a new control framework called the moving endpoint control to restore images corrupted by different degradation levels in one model. The proposed control problem contains a restoration dynamics which is modeled by an RNN. The moving endpoint, which is essentially the terminal time of the associated dynamics, is determined by a policy network. We call the proposed model the dynamically unfolding recurrent restorer (DURR). Numerical experiments show that DURR is able to achieve state-of-the-art performances on blind image denoising and JPEG image deblocking. Furthermore, DURR can well generalize to images with higher degradation levels that are not included in the training stage.

研究动机与目标

• 为解决使用单一统一模型恢复具有不同退化水平图像的挑战。
• 克服现有基于深度学习的图像复原方法中固定深度网络和手动超参数调优的局限性。
• 提升对未见退化水平（如更高噪声水平或JPEG压缩中的未知质量因子）的泛化能力。
• 开发一种统一框架，根据每张图像动态调整复原深度，从而增强鲁棒性与灵活性。

提出的方法

• 使用卷积循环神经网络（RNN）将图像复原过程建模为连续时间动力系统 Ẋ = f(X(t), w(t))，其中RNN充当复原单元。
• 终端时间 τ(x) 并非固定，而是通过策略网络为每张输入图像学习得到，从而实现基于退化水平的自适应停止。
• 该框架将问题形式化为移动终点最优控制问题，通过最小化包含重建误差和正则化项的损失函数来求解。
• 使用深度Q学习训练策略网络，以确定每张输入图像的最优RNN步数（即循环次数）。
• 复原单元与策略网络以端到端方式联合训练，策略网络指导RNN的动态展开过程。
• 该方法受到残差网络与最优控制之间联系的启发，其中残差块可被解释为连续动力学的时间离散化。

实验结果

研究问题

• RQ1 单一深度学习模型是否能在无需微调或超参数调整的情况下，有效恢复具有多样化退化水平的图像？
• RQ2 如何使学习到的图像复原过程的终端时间能够根据输入图像的特定退化水平自适应调整？
• RQ3 与固定深度模型相比，基于策略的动态停止机制是否能提升对未见退化水平的泛化能力？
• RQ4 移动终点控制框架是否能在盲图像去噪和JPEG去块效应处理方面超越现有最先进模型？

主要发现

• DURR 在盲图像去噪任务中实现了最先进性能，优于 DnCNN-B 和 UNLNet5，在所有测试噪声水平下表现更优，包括训练期间未见的 σ = 65 和 σ = 75。
• 在 BSD68 数据集上，DURR 在 σ = 65（训练期间未见）时达到 25.26 dB 的 PSNR，而 DnCNN-B 显著下降至 23.40 dB，展现出强大的泛化能力。
• 在 JPEG 去块效应处理方面，DURR 在大多数情况下优于 DnCNN-3，分别在 QF 40 和 QF 10 时达到 34.01 dB 和 29.23 dB，尽管其参数量显著更少。
• 在真实世界去噪任务中，DURR 在一张噪声水平 σ = 65（训练期间未见）的测试图像上达到 22.84 dB 的 PSNR，优于 DnCNN 的 21.86 dB，并更好地保留了细微纹理。
• 该模型在无需额外微调的情况下，对真实世界噪声也表现出良好泛化能力，如 Lebrun 等人（2015）提供的图像中定性结果所示，DURR 恢复纹理比基线方法更准确。
• 策略网络成功学习到根据图像内容调整复原步数，使模型在处理高退化输入时比固定深度模型更具优势。