[论文解读] Chinese Text Recognition with A Pre-Trained CLIP-Like Model Through Image-IDS Aligning

Haiyang Yu, Xiaocong Wang+2 more|arXiv (Cornell University)|Sep 3, 2023

Handwritten Text Recognition Techniques被引用 4

一句话总结

该论文提出了一种两阶段中文文本识别框架，通过将印刷体汉字图像与其表意描述序列（IDS）对齐，预训练一个类似CLIP的模型（CCR-CLIP），以学习规范化的字符表征，从而实现在无需微调的情况下进行零样本识别。该方法在中文字符识别和文本识别基准测试中均取得了最先进性能，尤其在零样本和少样本设置下表现突出。

ABSTRACT

Scene text recognition has been studied for decades due to its broad applications. However, despite Chinese characters possessing different characteristics from Latin characters, such as complex inner structures and large categories, few methods have been proposed for Chinese Text Recognition (CTR). Particularly, the characteristic of large categories poses challenges in dealing with zero-shot and few-shot Chinese characters. In this paper, inspired by the way humans recognize Chinese texts, we propose a two-stage framework for CTR. Firstly, we pre-train a CLIP-like model through aligning printed character images and Ideographic Description Sequences (IDS). This pre-training stage simulates humans recognizing Chinese characters and obtains the canonical representation of each character. Subsequently, the learned representations are employed to supervise the CTR model, such that traditional single-character recognition can be improved to text-line recognition through image-IDS matching. To evaluate the effectiveness of the proposed method, we conduct extensive experiments on both Chinese character recognition (CCR) and CTR. The experimental results demonstrate that the proposed method performs best in CCR and outperforms previous methods in most scenarios of the CTR benchmark. It is worth noting that the proposed method can recognize zero-shot Chinese characters in text images without fine-tuning, whereas previous methods require fine-tuning when new classes appear. The code is available at https://github.com/FudanVI/FudanOCR/tree/main/image-ids-CTR.

研究动机与目标

• 为解决尽管拉丁字母识别技术已取得进展，但零样本和少样本中文字符识别仍研究不足的问题。
• 通过将汉字结构分解为部首，模仿人类识别方式，学习其规范表征。
• 开发一种两阶段框架，利用预训练的规范表征以提升端到端文本识别性能。
• 实现对文本图像中未见中文字符的识别，且无需模型微调，克服了先前方法的局限性。

提出的方法

• 使用对比损失预训练一个类似CLIP的模型（CCR-CLIP），将印刷体中文字符的图像嵌入与对应表意描述序列（IDS），即部首序列的文本嵌入进行对齐。
• 引入额外的对比损失，用于同一字符在不同字体样式下的图像对，以提升域泛化能力并减少字体偏差。
• 使用预训练的文本编码器生成部首序列的规范表征，并在CTR阶段作为监督信号使用。
• 在CTR阶段引入图像-IDS匹配头，通过计算提取的字符嵌入与学习到的规范表征之间的相似度实现推理。
• 在对比损失（$\mathcal{L}_{ctr}$）中应用匹配头和正则化项，以提升特征判别力和泛化能力。
• 在预处理阶段增加将竖向文本图像逆时针旋转90°的步骤，以缓解特征空间中方向相关混淆。

实验结果

研究问题

• RQ1 预训练的类似CLIP的模型能否通过图像-IDS对齐有效学习中文字符的规范表征？
• RQ2 所学的规范表征是否能实现对文本图像中未见中文字符的零样本识别，且无需微调？
• RQ3 所提出的两阶段框架在中文字符识别和文本识别基准测试中的性能与现有方法相比如何？
• RQ4 不同分解层级（部首、笔画）对CCR-CLIP模型性能有何影响？
• RQ5 在低数据场景下，如少样本或有限训练数据设置下，该方法的鲁棒性如何？

主要发现

• CCR-CLIP模型在中文字符识别基准测试中达到最先进性能，显著优于先前方法。
• 在CTR基准测试中，该方法在多数场景下优于先前最先进方法，尤其在零样本和少样本设置下表现突出。
• 在网页数据集上，使用所提出的匹配头使性能提升3.14%；在手写数据集上提升5.54%。
• $\mathcal{L}_{ctr}$中的正则化项使四个数据集上的平均性能提升1.12%。
• 在低数据场景下，该方法保持强鲁棒性，当训练数据减少时，在场景和文档数据集上显著优于TransOCR。
• t-SNE可视化结果表明，损失$\mathcal{L}_{I}$改善了特征聚类，尤其对手写和噪声样本更有效，减少了误分类。