[论文解读] End to End Recognition System for Recognizing Offline Unconstrained Vietnamese Handwriting

Anh Duc Le, Hung Tuan Nguyen+1 more|arXiv (Cornell University)|May 14, 2019

Handwritten Text Recognition Techniques参考文献 22被引用 4

一句话总结

本文提出了一种用于离线非约束越南手写文字识别的端到端注意力机制编码器-解码器模型（AED），结合DenseNet进行特征提取，以及带有注意力机制的LSTM解码器进行序列生成。该模型在未使用外部语言模型的情况下，在VNOnDB-Word数据集上实现了12.30%的词错误率（WER），优于基线系统，并在公开竞赛中与Google的性能相当。

ABSTRACT

Inspired by recent successes in neural machine translation and image caption generation, we present an attention based encoder decoder model (AED) to recognize Vietnamese Handwritten Text. The model composes of two parts: a DenseNet for extracting invariant features, and a Long Short-Term Memory network (LSTM) with an attention model incorporated for generating output text (LSTM decoder), which are connected from the CNN part to the attention model. The input of the CNN part is a handwritten text image and the target of the LSTM decoder is the corresponding text of the input image. Our model is trained end-to-end to predict the text from a given input image since all the parts are differential components. In the experiment section, we evaluate our proposed AED model on the VNOnDB-Word and VNOnDB-Line datasets to verify its efficiency. The experiential results show that our model achieves 12.30% of word error rate without using any language model. This result is competitive with the handwriting recognition system provided by Google in the Vietnamese Online Handwritten Text Recognition competition.

研究动机与目标

• 开发一种无需依赖手工设计特征或外部语言模型的端到端深度学习系统，用于识别非约束越南手写文本。
• 通过统一的神经网络架构，提升越南语（一种具有复杂变音符号和声调标记的语言）的识别准确率。
• 在标准基准数据集VNOnDB-Word和VNOnDB-Line上评估模型性能。
• 在公开竞赛环境中，证明该模型在性能上可与最先进系统（包括Google的解决方案）相媲美。

提出的方法

• 模型采用DenseNet主干网络，从手写图像输入中提取分层的、空间不变的特征。
• 在LSTM解码器中集成注意力机制，以在文本生成过程中动态关注图像的相关区域。
• 整个系统通过反向传播进行端到端训练，所有组件均可微分。
• 编码器处理输入图像，生成上下文感知的特征表示。
• 解码器基于编码特征和图像上的注意力机制，自回归地生成文本标记。
• 损失函数基于预测文本序列与真实文本序列之间的交叉熵。

实验结果

研究问题

• RQ1 无需语言模型，端到端注意力机制编码器-解码器模型是否能在非约束越南手写文字识别任务中达到具有竞争力的性能？
• RQ2 DenseNet与注意力增强的LSTM结合，在捕捉越南手写文字中的复杂视觉与序列模式方面是否有效？
• RQ3 所提出的模型是否在VNOnDB-Word和VNOnDB-Line等标准基准上优于现有系统？
• RQ4 该模型在现实应用中常见的非约束书写风格上，泛化能力如何？

主要发现

• 所提出的AED模型在VNOnDB-Word数据集上未使用任何外部语言模型的情况下，实现了12.30%的词错误率（WER）。
• 该模型性能与Google系统相当，后者是越南在线手写文字识别竞赛中的第一名。
• 将注意力机制与LSTM结合，改善了图像特征与生成文本之间的对齐，从而提升了识别准确率。
• 端到端训练策略实现了特征提取与序列生成的联合优化，减少了误差传播。