[论文解读] Binary Document Image Super Resolution for Improved Readability and OCR Performance

Ram Krishna Pandey, K. Vignesh+2 more|arXiv (Cornell University)|Dec 6, 2018

Advanced Image Processing Techniques参考文献 33被引用 22

一句话总结

本文提出基于深度学习的单图像超分辨率（SISR）方法，用于低分辨率二值化泰米尔语文档图像，以提升可读性和OCR准确率。通过使用带有子像素卷积和PReLU激活函数的卷积神经网络，并在后处理中应用幂律变换，最佳模型相比输入图像实现了146.5%的OCR准确率相对提升。

ABSTRACT

There is a need for information retrieval from large collections of low-resolution (LR) binary document images, which can be found in digital libraries across the world, where the high-resolution (HR) counterpart is not available. This gives rise to the problem of binary document image super-resolution (BDISR). The objective of this paper is to address the interesting and challenging problem of super resolution of binary Tamil document images for improved readability and better optical character recognition (OCR). We propose multiple deep neural network architectures to address this problem and analyze their performance. The proposed models are all single image super-resolution techniques, which learn a generalized spatial correspondence between the LR and HR binary document images. We employ convolutional layers for feature extraction followed by transposed convolution and sub-pixel convolution layers for upscaling the features. Since the outputs of the neural networks are gray scale, we utilize the advantage of power law transformation as a post-processing technique to improve the character level pixel connectivity. The performance of our models is evaluated by comparing the OCR accuracies and the mean opinion scores given by human evaluators on LR images and the corresponding model-generated HR images.

研究动机与目标

• 解决在缺乏高分辨率对应图像的情况下，提升75 dpi低分辨率二值化泰米尔语文档图像可读性和OCR性能的挑战。
• 为二值化文档图像超分辨率（BDISR）设计定制化的深度神经网络架构，特别针对历史与文化数字化项目（如Project Madurai）的需求。
• 克服现有超分辨率方法在处理像素连接稀疏、以文本为主的二值化文档图像时的局限性。
• 创建一个公开可用的泰米尔语文档图像块配对数据集，以支持BDISR模型的训练与评估。
• 通过后处理技术提升超分辨率图像中的像素连接性和结构保真度，从而改善OCR性能。

提出的方法

• 提出多种基于卷积层进行特征提取、转置卷积或子像素卷积层用于上采样的SISR架构。
• 采用残差连接以稳定深度网络的训练过程并改善梯度流动。
• 使用PReLU激活函数以允许可学习的负斜率，从而在特征表示上优于ReLU。
• 将幂律变换作为后处理步骤，以增强像素连接性并减少最终输出中的噪声。
• 使用自定义的泰米尔语文档图像块配对数据集，对2×和4×上采样任务进行模型训练。
• 采用三流并行网络架构，以比较并融合来自转置卷积、子像素卷积和残差连接流的输出。

实验结果

研究问题

• RQ1 深度神经网络能否有效学习从低分辨率到高分辨率二值化文档图像的映射，适用于泰米尔语文本？
• RQ2 不同上采样层（转置卷积与子像素卷积）如何影响超分辨率图像的质量与OCR性能？
• RQ3 在二值化文档超分辨率的背景下，PReLU激活函数相较于ReLU能多大程度上提升性能？
• RQ4 幂律变换在增强二值化超分辨率图像的像素连接性和OCR准确率方面有多有效？
• RQ5 通过深度学习超分辨率方法，自定义的泰米尔语文档图像数据集能否显著提升OCR准确率？

主要发现

• 采用子像素卷积和PReLU激活的CTS-PReLU-×4模型，在OCR准确率上相比原始低分辨率输入图像实现了146.5%的相对提升。
• 基于子像素卷积的流在保留细粒度文字细节方面优于转置卷积和残差连接流。
• 4×上采样相比2×上采样显著提升了OCR准确率，归因于字符结构和连接性的增强。
• 幂律变换后处理对OCR准确率有微弱提升，CTSγ-PReLU-×4模型相比输入图像实现了107%的相对提升。
• 人工评估者评定CTS模型输出的感知质量最高，母语泰米尔人和非泰米尔人用户均更偏好4×上采样结果。
• 所提模型显著优于基线方法，CTS-PReLU-×4配置的OCR准确率比转置卷积高出约10%，比残差连接流高出约8%。