[论文解读] CNN for License Plate Motion Deblurring

Pavel Svoboda, Michal Hradiš+2 more|arXiv (Cornell University)|Feb 25, 2016

Advanced Image Processing Techniques参考文献 11被引用 9

一句话总结

本文提出一种基于卷积神经网络（CNN）的方法，用于从真实交通监控系统中获取的车牌图像去模糊，利用对模糊核进行近似处理的人工生成训练数据。该方法在重建质量上优于传统盲去卷积技术，表明在部分核约束条件下，使用合成数据训练的CNN能有效泛化到真实世界的模糊模式。

ABSTRACT

In this work we explore the previously proposed approach of direct blind deconvolution and denoising with convolutional neural networks in a situation where the blur kernels are partially constrained. We focus on blurred images from a real-life traffic surveillance system, on which we, for the first time, demonstrate that neural networks trained on artificial data provide superior reconstruction quality on real images compared to traditional blind deconvolution methods. The training data is easy to obtain by blurring sharp photos from a target system with a very rough approximation of the expected blur kernels, thereby allowing custom CNNs to be trained for a specific application (image content and blur range). Additionally, we evaluate the behavior and limits of the CNNs with respect to blur direction range and length.

研究动机与目标

• 解决真实交通监控系统中车牌图像的运动模糊问题，其中模糊部分受约束。
• 评估在人工数据上训练的CNN是否能泛化到监控视频中的真实世界模糊模式。
• 研究CNN在模糊方向和长度变化范围内的性能极限。
• 证明深度学习在实际车牌去模糊场景中可超越经典盲去卷积方法。

提出的方法

• 该方法采用直接盲去卷积与去噪框架，使用在合成数据上训练的CNN架构。
• 通过将目标监控系统中清晰图像应用粗糙的预期模糊核近似，生成训练数据。
• CNN端到端学习从模糊输入中估计模糊核和底层清晰图像。
• 该方法利用对模糊核的部分约束，以提升泛化能力和重建保真度。
• 在真实监控图像上评估模型，以评估其在真实条件下的性能。

实验结果

研究问题

• RQ1 在人工数据上训练的CNN是否能在真实车牌图像上去模糊方面，表现优于传统盲去卷积方法？
• RQ2 当模糊方向和长度超出训练分布范围时，模型性能如何？
• RQ3 CNN在模糊核范围和方向方面的性能极限是什么？
• RQ4 使用模糊核的粗略近似是否能提升在真实世界数据上的泛化能力？

主要发现

• 基于CNN的方法在真实车牌图像去模糊方面显著优于传统盲去卷积技术。
• 尽管在人工模糊数据上进行训练，该模型在真实世界模糊模式上仍表现出良好的泛化能力。
• 当模糊方向或长度超出训练期间观察到的范围时，性能下降，表明模型对分布偏移敏感。
• 在数据生成过程中使用模糊核的粗略近似，可在无需精确模糊信息的情况下实现有效训练。