[论文解读] Chinese Text in the Wild

Tailing Yuan, Zhe Zhu+3 more|arXiv (Cornell University)|Feb 28, 2018

Handwritten Text Recognition Techniques参考文献 1被引用 17

一句话总结

本论文提出了中文野外文本（CTW），这是一个大规模数据集，包含32,285张街景图像中的100万个人工标注的中文字符，涵盖遮挡、光照不良及多样的文本样式等多样化挑战。采用最先进模型，其在识别任务中达到80.5%的top-1准确率（使用Google Inception），在检测任务中达到71.0%的mAP（使用YOLOv2），为自然图像中的中文文本识别设立了新基准。

ABSTRACT

We introduce Chinese Text in the Wild, a very large dataset of Chinese text in street view images. While optical character recognition (OCR) in document images is well studied and many commercial tools are available, detection and recognition of text in natural images is still a challenging problem, especially for more complicated character sets such as Chinese text. Lack of training data has always been a problem, especially for deep learning methods which require massive training data. In this paper we provide details of a newly created dataset of Chinese text with about 1 million Chinese characters annotated by experts in over 30 thousand street view images. This is a challenging dataset with good diversity. It contains planar text, raised text, text in cities, text in rural areas, text under poor illumination, distant text, partially occluded text, etc. For each character in the dataset, the annotation includes its underlying character, its bounding box, and 6 attributes. The attributes indicate whether it has complex background, whether it is raised, whether it is handwritten or printed, etc. The large size and diversity of this dataset make it suitable for training robust neural networks for various tasks, particularly detection and recognition. We give baseline results using several state-of-the-art networks, including AlexNet, OverFeat, Google Inception and ResNet for character recognition, and YOLOv2 for character detection in images. Overall Google Inception has the best performance on recognition with 80.5% top-1 accuracy, while YOLOv2 achieves an mAP of 71.0% on detection. Dataset, source code and trained models will all be publicly available on the website.

研究动机与目标

• 为自然图像中中文文本识别与检测缺乏大规模、多样化训练数据的问题提供解决方案。
• 构建一个能捕捉真实世界复杂性的基准数据集，包括遮挡、光照变化及文本样式多样性。
• 利用深度神经网络为字符识别与检测提供最先进基线模型。
• 推动在真实环境下鲁棒中文文本检测与识别的研究。

提出的方法

• 从腾讯街景数据中选取32,285张街景图像，人工标注1,018,402个中文字符实例，每个字符包含边界框及六个属性。
• 使用Google Inception、ResNet、AlexNet和OverFeat进行字符识别，输入为裁剪至字符级别的区域。
• 通过调整输入分辨率并采用多尺度推理策略（重叠子图像）来改进YOLOv2的检测性能。
• 应用非极大值抑制（NMS）合并来自多个子图像输入的检测结果，以提升定位准确性。
• 将高分辨率图像（2048×2048）分割为较小的重叠子图像（168×168和304×304），以实现多尺度检测。
• 在包含1001个字符类别的数据集划分上进行训练与测试，其中为罕见字符专门设立一个“其他”类别。

实验结果

研究问题

• RQ1 最先进深度学习模型在真实、非受限自然图像中检测与识别中文文本的性能如何？
• RQ2 模型性能在不同文本属性（如遮挡、字体样式、背景复杂度）下如何变化？
• RQ3 大规模、多样化数据集是否能显著提升中文文本识别与检测系统的鲁棒性？
• RQ4 在自然场景中检测小尺寸、远距离或部分遮挡的中文字符面临哪些主要挑战？

主要发现

• Google Inception在CTW数据集上实现了最高的识别准确率，达到80.5%的top-1准确率。
• YOLOv2在字符检测任务中实现了71.0%的平均精度均值（mAP），展现出在复杂场景中的强大泛化能力。
• 检测性能因属性而异：遮挡字符的召回率为56.7%，手写体字符为53.8%，表明识别难度更高。
• 立体字符的召回率（70.1%）略高于平面文本（69.4%），可能得益于更强的结构线索。
• 最常出现的前10个字符的AP得分在80.3%至90.3%之间，表明对常见字符的性能表现优异。
• 多尺度推理策略有效提升了对小尺寸与大尺寸字符的检测性能，精确率-召回率曲线在不同尺寸范围内均保持稳定。