[论文解读] KuroNet: Pre-Modern Japanese Kuzushiji Character Recognition with Deep Learning

Tarin Clanuwat, Alex Lamb+1 more|arXiv (Cornell University)|Oct 21, 2019

Handwritten Text Recognition Techniques参考文献 17被引用 8

一句话总结

KuroNet 是一种深度学习模型，采用残差 U-Net 架构，对前近代日本的草书体文字实现端到端识别，无需预处理即可同时预测整页图像中字符的位置与身份。该模型在性能上达到当前最先进水平，27本评估书籍中有 56% 的 F1 分数超过 80%，15% 超过 90%，在复杂版式和大词汇量场景下显著优于先前方法。

ABSTRACT

Kuzushiji, a cursive writing style, had been used in Japan for over a thousand years starting from the 8th century. Over 3 millions books on a diverse array of topics, such as literature, science, mathematics and even cooking are preserved. However, following a change to the Japanese writing system in 1900, Kuzushiji has not been included in regular school curricula. Therefore, most Japanese natives nowadays cannot read books written or printed just 150 years ago. Museums and libraries have invested a great deal of effort into creating digital copies of these historical documents as a safeguard against fires, earthquakes and tsunamis. The result has been datasets with hundreds of millions of photographs of historical documents which can only be read by a small number of specially trained experts. Thus there has been a great deal of interest in using Machine Learning to automatically recognize these historical texts and transcribe them into modern Japanese characters. Nevertheless, several challenges in Kuzushiji recognition have made the performance of existing systems extremely poor. To tackle these challenges, we propose KuroNet, a new end-to-end model which jointly recognizes an entire page of text by using a residual U-Net architecture which predicts the location and identity of all characters given a page of text (without any pre-processing). This allows the model to handle long range context, large vocabularies, and non-standardized character layouts. We demonstrate that our system is able to successfully recognize a large fraction of pre-modern Japanese documents, but also explore areas where our system is limited and suggest directions for future work.

研究动机与目标

• 为解决前近代日本草书体文字识别的挑战，这些文字因文字系统过时，对现代日语使用者而言大多难以辨识。
• 克服现有系统在处理大词汇量、非标准化版式以及长距离上下文依赖方面的局限。
• 开发一种鲁棒的端到端模型，无需预处理或依赖顺序字符识别，即可识别整页草书体文本。
• 通过实现历史日文文献的自动转写为现代日文，提升其可访问性。
• 识别未来草书体识别研究中的关键失败模式与开放性挑战。

提出的方法

• KuroNet 采用残差 U-Net 架构，对整页图像中的每个字符同时预测其空间位置与身份。
• 模型通过多任务损失进行训练，联合优化字符检测与分类任务，使用真实边界框和标签在像素级别提供监督。
• 在每个空间位置 $ (i,j) $ 上建模概率分布 $ p(y_{ij}|c_{ij},x) $，其中 $ y_{ij} $ 为字符标签，$ c_{ij} $ 为特征表示。
• 网络通过跳跃连接和残差块保留空间细节，并改善训练过程中的梯度流动。
• 模型在整页图像上端到端训练，使其能够捕捉页面范围内的长距离上下文关系。
• 训练过程中应用 mixup 正则化，以提升泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 深度学习模型能否在无需预处理或顺序建模的情况下，实现高精度的草书体字符端到端识别？
• RQ2 该模型在复杂版式（如文字环绕插图或字体大小不一）的页面上表现如何？
• RQ3 模型的主要失败模式是什么，特别是对大号字符或视觉上相似的汉字？
• RQ4 该模型在更早时期（如 1643 年以前，训练集中最早标注的书籍为 1643 年）的文献上能有多强的泛化能力？
• RQ5 半监督学习技术能否有效利用大量未标注的历史文献？

主要发现

• 在 27 本图书的保留测试页上，56% 的图书 F1 分数位于 80% 至 90% 之间，15% 的图书 F1 分数位于 90% 至 100% 之间。
• 该模型在《伊势物语大成》（1697 年）页面上取得 F1 分数 0.8824，表明其在复杂且带插图的版式上表现强劲。
• 模型在标题页的大号字符上表现不佳，常因这些字符稀有且视觉突出而无法正确检测或分类。
• 标题页上的标注（绝对尺寸较小但视觉上与正文相似）常被错误分类为正文内容。
• 模型有时会预测出视觉上相似但错误的汉字，表明在细粒度区分上仍存在挑战。
• 模型在 1643 年以前的文献上表现较差，表明可能需要更早时期的数据以提升泛化能力。