[论文解读] Deep Algorithm Unrolling for Blind Image Deblurring

Yuelong Li, Mohammad Tofighi+3 more|arXiv (Cornell University)|Feb 9, 2019

Advanced Image Processing Techniques参考文献 69被引用 16

一句话总结

本文提出深度展开盲去模糊网络（DUBLID），一种通过展开盲图像去模糊迭代算法而构建的神经网络架构，结合了传统优化方法的可解释性与深度学习的性能优势。该方法从训练数据中学习关键算法参数，在推理速度上显著快于传统迭代方法的同时，实现了最先进的去模糊性能。

ABSTRACT

Blind image deblurring remains a topic of enduring interest. Learning based approaches, especially those that employ neural networks have emerged to complement traditional model based methods and in many cases achieve vastly enhanced performance. That said, neural network approaches are generally empirically designed and the underlying structures are difficult to interpret. In recent years, a promising technique called algorithm unrolling has been developed that has helped connect iterative algorithms such as those for sparse coding to neural network architectures. However, such connections have not been made yet for blind image deblurring. In this paper, we propose a neural network architecture based on this idea. We first present an iterative algorithm that may be considered as a generalization of the traditional total-variation regularization method in the gradient domain. We then unroll the algorithm to construct a neural network for image deblurring which we refer to as Deep Unrolling for Blind Deblurring (DUBLID). Key algorithm parameters are learned with the help of training images. Our proposed deep network DUBLID achieves significant practical performance gains while enjoying interpretability at the same time. Extensive experimental results show that DUBLID outperforms many state-of-the-art methods and in addition is computationally faster.

研究动机与目标

• 为解决传统迭代盲去模糊方法严重依赖手工设计正则化项且需要大量迭代的问题。
• 通过引入模型驱动、可解释的架构，克服现有基于深度学习的去模糊网络的黑箱特性。
• 基于盲去模糊的迭代算法展开，构建可微分的神经网络结构，支持端到端训练与可学习参数。
• 通过算法展开，在保持计算效率与可解释性的同时，实现高性能的去模糊效果。

提出的方法

• 将盲去模糊的迭代算法形式化为梯度域中总变差正则化的推广形式。
• 将该算法展开为深度神经网络架构 DUBLID，其中每一层对应算法的一轮迭代。
• 将关键算法参数（如正则化权重和阈值水平）设为可训练参数，并通过训练数据集上的反向传播进行优化。
• 在网络中引入傅里叶域中的可学习滤波器与软阈值操作，以在梯度域中促进稀疏性。
• 该架构采用级联结构，交替估计模糊核并优化清晰图像，所有操作均可微分，支持端到端训练。
• 通过链式法则与复数导数，对展开后的各层应用反向传播，以更新可学习参数。

实验结果

研究问题

• RQ1 算法展开能否有效扩展至盲图像去模糊问题？该问题此前尚未在该框架中被研究。
• RQ2 如何设计一种深度神经网络，在保持优异去模糊性能的同时，仍具备可解释性？
• RQ3 在泛化能力与速度方面，展开算法中的可学习参数是否能超越手工设计的正则化项？
• RQ4 与传统迭代求解器相比，展开的网络架构在多大程度上减少了所需迭代次数？
• RQ5 所提出的方法是否能在不预先假设模糊核结构的前提下，对多种模糊类型保持鲁棒性？

主要发现

• DUBLID 在基准数据集上达到最先进性能，在 PSNR 与 SSIM 指标上均优于传统迭代方法与先前的深度学习方法。
• 该网络收敛速度显著快于传统迭代求解器，仅需少量网络层（如 8–12 层）即可获得高质量结果。
• 该方法在多种模糊类型（包括运动模糊与景深模糊）上均表现出强泛化能力，且无需针对特定模糊类型修改网络结构。
• DUBLID 的可解释性得以保持，因为每一层均对应优化算法中的一个明确步骤，支持对学习参数的分析。
• 消融实验证实，采用可学习参数的展开架构在性能上持续优于固定参数基线模型。
• 该网络具备竞争力的推理速度，适用于移动设备与嵌入式平台的实时应用。