[论文解读] Chinese Street View Text: Large-scale Chinese Text Reading with Partially Supervised Learning

Yipeng Sun, Jiaming Liu+4 more|arXiv (Cornell University)|Sep 17, 2019

Handwritten Text Recognition Techniques参考文献 41被引用 6

一句话总结

本文提出了 C-SVT，一个包含 430,000 张图像的大规模中文街景文本数据集，其中包含 30,000 张完全标注图像和 400,000 张弱标注图像。该研究提出了一种部分监督学习框架，包含在线提议匹配（OPM）模块，能够联合利用完全标注和弱标注数据进行训练，在相同标注成本下，相较于完全监督学习，端到端 F-score 提升了 4.03%，并在 ICDAR 2017-RCTW 上达到了最先进性能。

ABSTRACT

Most existing text reading benchmarks make it difficult to evaluate the performance of more advanced deep learning models in large vocabularies due to the limited amount of training data. To address this issue, we introduce a new large-scale text reading benchmark dataset named Chinese Street View Text (C-SVT) with 430,000 street view images, which is at least 14 times as large as the existing Chinese text reading benchmarks. To recognize Chinese text in the wild while keeping large-scale datasets labeling cost-effective, we propose to annotate one part of the CSVT dataset (30,000 images) in locations and text labels as full annotations and add 400,000 more images, where only the corresponding text-of-interest in the regions is given as weak annotations. To exploit the rich information from the weakly annotated data, we design a text reading network in a partially supervised learning framework, which enables to localize and recognize text, learn from fully and weakly annotated data simultaneously. To localize the best matched text proposals from weakly labeled images, we propose an online proposal matching module incorporated in the whole model, spotting the keyword regions by sharing parameters for end-to-end training. Compared with fully supervised training algorithms, this model can improve the end-to-end recognition performance remarkably by 4.03% in F-score at the same labeling cost. The proposed model can also achieve state-of-the-art results on the ICDAR 2017-RCTW dataset, which demonstrates the effectiveness of the proposed partially supervised learning framework.

研究动机与目标

• 为野外中文文本识别任务解决大规模、多样化且成本可控的训练数据缺乏的问题。
• 降低大规模数据集中精确边界框和文本标签标注的高昂成本。
• 开发一种统一的深度学习框架，能够有效利用完全标注和弱标注数据进行端到端文本检测与识别。
• 在完全监督基线的基础上，提升中文文本识别模型的泛化能力和性能。

提出的方法

• 对 30,000 张图像进行全监督标注：为每个文本区域标注边界框和文本标签。
• 收集并标注额外的 400,000 张图像，仅提供目标文本作为弱标签，显著降低标注成本。
• 设计一种部分监督的端到端文本识别模型，联合学习完全标注和弱标注数据。
• 引入在线提议匹配（OPM）模块，通过共享参数动态匹配文本提议与弱标签，实现端到端训练。
• 使用共享主干网络进行特征提取，随后分别使用检测头和识别头，共享表示以实现联合优化。
• 采用多任务损失函数，结合检测、识别和提议匹配目标，使弱标注区域与真实关键词对齐。

实验结果

研究问题

• RQ1 部分监督学习框架能否有效利用大规模弱标注数据，从而提升中文文本识别性能？
• RQ2 所提出的 OPM 模块在从弱标注中定位文本区域方面，与标准检测头相比表现如何？
• RQ3 与完全监督训练相比，弱标注数据在多大程度上能提升识别准确率和泛化能力？
• RQ4 所提出的方法是否在 ICDAR 2017-RCTW 等基准数据集上达到最先进性能？

主要发现

• 所提出的部分监督模型在 C-SVT 数据集上，以相同标注成本相较完全监督训练，端到端 F-score 提升了 4.03%。
• OPM 模块在阈值 τ=0.1 下实现了 57% 的召回率和 97% 的精确率，证明了其从弱标签中有效定位关键词区域的能力。
• 增加 400,000 张弱标注图像后，平均编辑距离（AED）每张图像减少 3.3，结合多尺度测试后 AED 进一步降低至 22.1，达到新的最先进结果。
• 在弱标注数据上进行训练后，识别分支的准确率从 40.20% 提升至 48.33%，表明弱监督对识别任务具有显著价值。
• 在 C-SVT 的完全标注子集上训练的模型在 ICDAR 2017-RCTW 上表现优于在 CTW 上训练的模型，F-score 达到 58.21% 对比 43.41%。
• 该模型在 ICDAR 2017-RCTW 上实现了最先进结果，证实了所提出的部分监督学习框架具有良好的泛化性和有效性。