[论文解读] Open Set Chinese Character Recognition using Multi-typed Attributes

Sheng He, Lambert Schomaker|arXiv (Cornell University)|Aug 27, 2018

Handwritten Text Recognition Techniques参考文献 31被引用 7

一句话总结

本文提出了一种新颖的开放集中文字符识别方法，利用多种类型属性（如汉语拼音、笔画数、部首及输入法编码（仓颉、郑码、五笔、四角））实现零样本和少样本学习。通过卷积神经网络（CNN）预测这些属性，并在属性空间中使用距离度量进行识别，在历史文本和印刷体字符数据集上实现了对未见字符的强大泛化能力。

ABSTRACT

Recognition of Off-line Chinese characters is still a challenging problem, especially in historical documents, not only in the number of classes extremely large in comparison to contemporary image retrieval methods, but also new unseen classes can be expected under open learning conditions (even for CNN). Chinese character recognition with zero or a few training samples is a difficult problem and has not been studied yet. In this paper, we propose a new Chinese character recognition method by multi-type attributes, which are based on pronunciation, structure and radicals of Chinese characters, applied to character recognition in historical books. This intermediate attribute code has a strong advantage over the common `one-hot' class representation because it allows for understanding complex and unseen patterns symbolically using attributes. First, each character is represented by four groups of attribute types to cover a wide range of character possibilities: Pinyin label, layout structure, number of strokes, three different input methods such as Cangjie, Zhengma and Wubi, as well as a four-corner encoding method. A convolutional neural network (CNN) is trained to learn these attributes. Subsequently, characters can be easily recognized by these attributes using a distance metric and a complete lexicon that is encoded in attribute space. We evaluate the proposed method on two open data sets: printed Chinese character recognition for zero-shot learning, historical characters for few-shot learning and a closed set: handwritten Chinese characters. Experimental results show a good general classification of seen classes but also a very promising generalization ability to unseen characters.

研究动机与目标

• 解决历史中文字符识别中的开放集识别挑战，其中潜在字符数量超过50,000，且新出现的未见字符十分常见。
• 克服传统闭集识别模型的局限性，后者需要大规模且平衡的训练集，且难以泛化到罕见或未见字符。
• 利用符号化、共享的属性（如部首、发音、结构）实现字符间的知识迁移，提升对训练数据之外字符的泛化能力。
• 通过在紧凑且可解释的属性空间中编码字符，实现在低资源场景（如少样本或零样本学习）下的有效识别。

提出的方法

• 使用四类属性表示每个中文字符：汉语拼音（发音）、笔画数、字形结构，以及输入法编码（仓颉、郑码、五笔、四角编码）。
• 训练卷积神经网络（CNN）从字符图像中预测这些多类型属性，实现属性表征的端到端学习。
• 在学习得到的属性空间中使用距离度量（如余弦或欧氏距离）将测试字符与完整词典中以属性空间编码的最接近已知字符匹配。
• 通过在五个旋转角度下评估背景线条宽度来实现倾斜校正，以估计并校正历史文档图像中的微小倾斜角度。
• 实施多步字符分割流程：(1) 通过连通域检测候选框，(2) 基于宽高比（>0.8）进行过滤，(3) 以平均字符高度作为先验，(4) 对大框进行分割，(5) 合并相邻框，(6) 按行对齐框以保持一致的高度与宽度。
• 利用白像素的运行长度分布检测文本行，相比标准投影方法，对噪声和表格线具有更强的鲁棒性。

实验结果

研究问题

• RQ1 多类型属性（如部首、发音、结构）能否以有效方式表征中文字符，从而实现对未见字符的泛化？
• RQ2 基于CNN的属性预测器在开放集识别场景下，对罕见或未见字符的泛化能力如何？
• RQ3 在零样本和少样本设置下，基于属性的识别相较于传统独热编码分类方法，在历史中文字符识别中优势有多大？
• RQ4 所提出的分割与预处理流程能否可靠地从噪声多、倾斜的历史文档图像中提取出单个字符？

主要发现

• 所提方法在零样本和少样本学习设置下对未见字符表现出强大的泛化能力，显示出对训练分布之外情况的鲁棒性。
• 在印刷体中文字符（零样本）和历史字符（少样本）上的识别性能显著优于传统闭集模型。
• 使用多类型属性相比独热编码显著减小了有效分类空间，使得即使在潜在字符超过50,000个的情况下也能实现可扩展的识别。
• 基于CNN的属性预测模型成功学习到可迁移的表征，能够捕捉字符间的结构与发音相似性。
• 字符分割流程能有效处理字符粘连与字符内部噪声，生成准确且一致的字符边界框。
• 通过最大化背景线条宽度实现的倾斜校正方法，无需依赖霍夫变换即可可靠校正微小倾斜角度，提升了下游识别的准确性。