[论文解读] Language Independent Single Document Image Super-Resolution using CNN for improved recognition

Ram Krishna Pandey, A. G. Ramakrishnan|arXiv (Cornell University)|Jan 30, 2017

Advanced Image Processing Techniques参考文献 10被引用 11

一句话总结

本论文提出了一种语言和分辨率无关的文档图像单图像超分辨率方法，采用五层卷积神经网络（CNN）提升低分辨率扫描图像质量，以改善光学字符识别（OCR）的准确性。通过使用参数化修正线性单元（PReLU）激活函数和1×1卷积，模型在75 dpi泰米尔文图像上实现了高达4 dB的PSNR增益，并将单词级OCR准确率提升了3%。

ABSTRACT

Recognition of document images have important applications in restoring old and classical texts. The problem involves quality improvement before passing it to a properly trained OCR to get accurate recognition of the text. The image enhancement and quality improvement constitute important steps as subsequent recognition depends upon the quality of the input image. There are scenarios when high resolution images are not available and our experiments show that the OCR accuracy reduces significantly with decrease in the spatial resolution of document images. Thus the only option is to improve the resolution of such document images. The goal is to construct a high resolution image, given a single low resolution binary image, which constitutes the problem of single image super-resolution. Most of the previous work in super-resolution deal with natural images which have more information-content than the document images. Here, we use Convolution Neural Network to learn the mapping between low and the corresponding high resolution images. We experiment with different number of layers, parameter settings and non-linear functions to build a fast end-to-end framework for document image super-resolution. Our proposed model shows a very good PSNR improvement of about 4 dB on 75 dpi Tamil images, resulting in a 3 % improvement of word level accuracy by the OCR. It takes less time than the recent sparse based natural image super-resolution technique, making it useful for real-time document recognition applications.

研究动机与目标

• 解决低分辨率文档图像导致OCR性能下降的问题，尤其是在缺乏高分辨率对应图像的情况下。
• 开发一种快速、端到端的深度学习框架，用于针对高频内容较少的文档图像进行单图像超分辨率。
• 通过在多语言（泰米尔文、卡纳达文、英文）和多分辨率（50–300 DPI）文档图像上进行训练，实现语言和分辨率的独立性。
• 通过超分辨率提升图像质量，从而改善OCR准确率，优于传统插值和稀疏编码方法。
• 设计一种轻量级CNN架构，在保持高性能的同时减少推理时间，适用于文档识别流水线中的实时部署。

提出的方法

• 在第一个隐藏层之后使用1×1卷积核的五层CNN进行训练，以增强非线性并降低特征维度。
• 使用参数化修正线性单元（PReLU）和修正线性单元（ReLU）激活函数，学习自适应非线性，提升特征表示能力和模型性能。
• 从135份文档图像中构建包含510万个高分辨率-低分辨率图像块对（10×10 HR，16×16 LR）的训练数据集，涵盖三种语言和三种分辨率（100–300 DPI）。
• 通过减去全局均值并进行范围归一化至[0,1]，对输入图像块进行空间归一化，以稳定训练过程。
• 使用均方误差（MSE）损失函数，通过随机梯度下降（SGD）进行优化，学习率为0.0001，训练50个周期，批量大小为32。
• 将双三次插值作为基线进行比较，通过PSNR以及在独立测试集上的OCR单词/字符准确率评估性能。

实验结果

研究问题

• RQ1 单一CNN超分辨率模型是否能在无需语言特定微调的情况下，跨多种语言（泰米尔文、卡纳达文、英文）实现泛化？
• RQ2 与双三次插值和稀疏编码方法相比，所提出的CNN在低分辨率文档图像上的PSNR和OCR准确率提升程度如何？
• RQ3 在文档图像超分辨率中，1×1卷积和PReLU激活函数的使用对性能和模型效率有何影响？
• RQ4 该模型在不同输入分辨率（50–300 DPI）下是否保持一致的性能表现，从而体现分辨率独立性？
• RQ5 该方法是否能够实现实时性能，适用于扫描文档处理中OCR流水线的部署？

主要发现

• 所提出的CNN模型在150 DPI输入图像上相比双三次插值的PSNR提升高达7.8 dB，在75 DPI泰米尔文图像上提升4 dB。
• 在75 dpi泰米尔文图像上，模型将单词级OCR准确率从双三次插值的59.6%提升至62.9%，提升了3.3个百分点。
• 采用PReLU激活函数的CNN在150 DPI泰米尔文图像上达到28.48 dB的PSNR，优于使用ReLU的28.29 dB。
• 该模型在英语、泰米尔文和卡纳达文文档上均表现出一致的PSNR增益，覆盖50–300 DPI的分辨率范围，显示出良好的跨语言和跨分辨率泛化能力。
• 推理时间显著低于近期基于稀疏的超分辨率技术，适用于文档识别系统中的实时应用。
• 在第一个隐藏层之后的连续三层中使用1×1卷积，相比标准三层次架构，提升了性能，增强了非线性表达并降低了特征维度。