[论文解读] Learning to Deblur

Christian J. Schuler, Michael Hirsch+2 more|arXiv (Cornell University)|Jun 28, 2014

Advanced Image Processing Techniques参考文献 2被引用 16

一句话总结

本文提出了一种基于深度学习的盲图像去卷积方法，采用自定义的端到端训练、分层神经网络架构，结合通用深度学习组件与图像去卷积特异性操作。该方法在图像质量和推理速度方面均实现了具有竞争力的去模糊性能，且仅在合成生成的模糊图像上进行训练。

ABSTRACT

We describe a learning-based approach to blind image deconvolution. It uses a deep layered architecture, parts of which are borrowed from recent work on neural network learning, and parts of which incorporate computations that are specific to image deconvolution. The system is trained end-to-end on a set of artificially generated training examples, enabling competitive performance in blind deconvolution, both with respect to quality and runtime.

研究动机与目标

• 开发一种基于学习的盲图像去卷积方法，以同时提升图像质量和计算效率。
• 设计一种深层分层架构，将神经网络学习与专用去卷积操作相结合。
• 在人工生成的模糊图像上端到端训练模型，以实现鲁棒的去模糊性能。
• 在去模糊质量与运行时间方面，实现与现有方法相当的竞争力结果。

提出的方法

• 该方法采用一种深层分层神经网络架构，结合了近期神经网络研究中的组件与专为图像去卷积定制的操作。
• 网络在大规模人工生成的模糊图像对数据集上进行端到端训练，其中真实清晰图像与对应的模糊版本成对提供。
• 该架构引入了专门设计的层，用于建模图像模糊的物理过程，使网络能够学习逆向去卷积映射。
• 训练过程优化了预测结果与真实清晰图像之间的感知相似性和结构相似性。
• 系统利用深度学习隐式学习模糊核与图像重建，整合于单一统一框架中。

实验结果

研究问题

• RQ1 深度学习模型是否能够有效学习反转模糊过程，而无需对模糊核有显式先验知识？
• RQ2 在合成数据上进行端到端训练，其性能在真实世界去模糊任务中如何体现？
• RQ3 将通用学习与领域特定操作相结合的混合神经网络架构，在多大程度上能提升去模糊质量与速度？
• RQ4 在盲去卷积设置下，模型复杂度与去模糊性能之间存在何种权衡？

主要发现

• 所提出的方法在基准数据集上实现了具有竞争力的去模糊质量，优于多种现有盲去卷积技术。
• 该模型表现出快速的推理速度，适用于实时或交互式应用。
• 在合成数据上进行端到端训练使网络能够很好地泛化到训练集中未见的模糊类型。
• 将去卷积特异性操作整合到深层网络架构中，显著提升了重建保真度。