[论文解读] Boosting Optical Character Recognition: A Super-Resolution Approach

Chao Dong, Ximei Zhu+3 more|arXiv (Cornell University)|Jun 7, 2015

Advanced Image Processing Techniques参考文献 10被引用 37

一句话总结

该论文提出了一种专为文本图像设计的超分辨率卷积神经网络（SRCNN）框架，旨在提升低分辨率输入下的光学字符识别（OCR）性能。通过使用优化的滤波器尺寸训练深层SRCNN，并采用贪心搜索进行模型组合，该方法在OCR准确率上达到77.19%，仅比高分辨率基线低1.61%，相比双三次插值方法实现了16.55%的性能提升。

ABSTRACT

Text image super-resolution is a challenging yet open research problem in the computer vision community. In particular, low-resolution images hamper the performance of typical optical character recognition (OCR) systems. In this article, we summarize our entry to the ICDAR2015 Competition on Text Image Super-Resolution. Experiments are based on the provided ICDAR2015 TextSR dataset and the released Tesseract-OCR 3.02 system. We report that our winning entry of text image super-resolution framework has largely improved the OCR performance with low-resolution images used as input, reaching an OCR accuracy score of 77.19%, which is comparable with that of using the original high-resolution images 78.80%.

研究动机与目标

• 提升低分辨率（LR）文本图像的OCR性能，此类图像因细节丢失而导致识别准确率下降。
• 探究超分辨率是否能有效恢复文本图像细节并增强下游OCR系统性能。
• 开发一种面向文本图像的领域专用超分辨率框架，将通用SRCNN扩展至文本识别任务。
• 探究网络深度、滤波器尺寸和权重初始化对文本图像超分辨率性能的影响。
• 通过使用多个训练网络的模型组合策略，提升模型的鲁棒性和准确性。

提出的方法

• 针对文本图像超分辨率任务，对超分辨率卷积神经网络（SRCNN）架构进行适配，采用三层或四层卷积层，使用ReLU激活函数和可学习滤波器。
• 采用三阶段流程：特征提取（conv1）、非线性特征映射（conv2）和高分辨率图像重建（conv3），最终输出为重建的高分辨率图像。
• 使用公式 $ F_1(Y) = \max(0, W_1 * Y + B_1) $，$ F_2(Y) = \max(0, W_2 * F_1(Y) + B_2) $，以及 $ F(Y) = W_3 * F_2(Y) + B_3 $，其中 $ Y $ 为低分辨率输入。
• 探索更深的网络结构（四层），采用不同滤波器尺寸（如64(9)-32(7)-16(5)-1(5)）及不同初始权重值，以提升性能。
• 采用“贪心搜索”策略进行模型组合：按顺序组合多个模型，以寻找能最大化PSNR或OCR得分的最优集成模型。
• 通过平均多个训练模型的像素输出，稳定预测结果并提升泛化能力，组合5个或以上模型时性能表现稳定。

实验结果

研究问题

• RQ1 超分辨率深度学习框架能否显著提升低分辨率文本图像的OCR准确率？
• RQ2 滤波器尺寸和网络深度等架构选择如何影响文本图像的超分辨率性能？
• RQ3 与单个模型相比，通过集成平均实现的模型组合是否能提升超分辨率输出的鲁棒性和准确性？
• RQ4 超分辨率在多大程度上能恢复精细文本细节，使其性能接近高分辨率OCR系统？
• RQ5 结果对网络权重的不同随机初始化是否敏感？这种敏感性能否通过模型组合得到缓解？

主要发现

• 所提出的基于SRCNN的超分辨率框架在ICDAR2015 TextSR测试集上实现了77.19%的OCR准确率，仅比高分辨率基线（78.80%）低1.61%。
• 与双三次插值方法相比，该方法在OCR准确率上提升了16.55%（双三次插值准确率为60.64%）。
• 模型组合显著提升了性能，最佳单模型与最佳双模型组合之间PSNR提升了0.53 dB。
• 最佳14模型组合实现了31.99 dB的PSNR和77.19%的OCR得分，表明结果稳定且质量优异。
• 最佳模型组合生成的超分辨率图像在视觉上与真实高分辨率图像非常接近，结构相似性（SSIM）高达0.981。
• 性能对初始权重值较为敏感，不同随机初始化导致收敛曲线差异明显，但模型组合有效缓解了这一方差问题。