[论文解读] A human-inspired recognition system for premodern Japanese historical documents

Anh Duc Le, Tarin Clanuwat+1 more|arXiv (Cornell University)|May 14, 2019

Handwritten Text Recognition Techniques参考文献 14被引用 4

一句话总结

本文提出了一种受人类启发的基于注意力机制的编码器-解码器系统，用于识别古籍日文历史文献，通过检测行首、逐字扫描以及处理草书连笔字，模拟人类阅读行为。该系统在PRMU Kuzushiji竞赛数据集的Level 2上实现了9.87%的序列错误率（SER），在Level 3上实现了53.81%的SER，优于所有参赛系统。

ABSTRACT

Recognition of historical documents is a challenging problem due to the noised, damaged characters and background. However, in Japanese historical documents, not only contains the mentioned problems, pre-modern Japanese characters were written in cursive and are connected. Therefore, character segmentation based methods do not work well. This leads to the idea of creating a new recognition system. In this paper, we propose a human-inspired document reading system to recognize multiple lines of premodern Japanese historical documents. During the reading, people employ eyes movement to determine the start of a text line. Then, they move the eyes from the current character/word to the next character/word. They can also determine the end of a line or skip a figure to move to the next line. The eyes movement integrates with visual processing to operate the reading process in the brain. We employ attention-based encoder-decoder to implement this recognition system. First, the recognition system detects where to start a text line. Second, the system scans and recognize character by character until the text line is completed. Then, the system continues to detect the start of the next text line. This process is repeated until reading the whole document. We tested our human-inspired recognition system on the pre-modern Japanese historical document provide by the PRMU Kuzushiji competition. The results of the experiments demonstrate the superiority and effectiveness of our proposed system by achieving Sequence Error Rate of 9.87% and 53.81% on level 2 and level 3 of the dataset, respectively. These results outperform to any other systems participated in the PRMU Kuzushiji competition.

研究动机与目标

• 解决在传统基于分割的方法失效的损毁历史文献中，识别连笔、连写古籍日文字符的挑战。
• 将人类阅读行为（眼动与顺序扫描）建模到深度学习系统中，以提升对复杂脚本的识别性能。
• 开发一种序列到序列的识别系统，能够检测行首，逐行处理文本，且无需预先分割即可处理可变长度的行。
• 通过借鉴类人视觉注意力与顺序处理，超越现有系统在PRMU Kuzushiji竞赛中的表现。

提出的方法

• 该系统采用基于注意力机制的编码器-解码器架构，以序列到序列的方式处理文档图像。
• 首先利用空间注意力机制检测每行文本的起始位置。
• 模型通过顺序扫描实现逐字符识别，模拟人类眼动过程。
• 注意力机制使解码器在每一步都能聚焦于图像中相关区域，提升上下文感知能力。
• 系统逐行处理，检测行结束并切换到下一行，直至读取完整个文档。
• 该架构在Kuzushiji数据集上端到端训练，采用序列级损失函数以最小化错误率。

实验结果

研究问题

• RQ1 受人类视觉注意力与眼动模式启发的识别系统，是否能提升对连笔、连写古籍日文脚本的识别性能？
• RQ2 与端到端或基于分割的方法相比，顺序的、逐行处理方式在历史日文文档识别中的表现如何？
• RQ3 在存在噪声、损伤与书写风格差异的情况下，注意力机制能在多大程度上提升识别准确率？
• RQ4 建模人类阅读行为是否能带来更好的泛化能力与更低的错误率，特别是在具有挑战性的历史文献基准上？

主要发现

• 所提出的系统在Kuzushiji竞赛数据集Level 2上实现了9.87%的序列错误率（SER），优于所有其他系统。
• 在Level 3上，系统实现了53.81%的SER，是该竞赛中所有参赛者中的最佳成绩。
• 受人类启发的注意力机制使系统能够稳健识别草书与连笔字符，且无需依赖字符分割。
• 系统的性能证明了在文档识别中建模类人顺序扫描与行检测的有效性。
• 结果证实，基于注意力的序列建模在具有高度视觉差异性的复杂历史脚本中极为有效。
• 该系统的架构在古籍日文手稿中呈现的不同文档质量与书写风格下均表现出良好的泛化能力。