[论文解读] Pattern Generation Strategies for Improving Recognition of Handwritten Mathematical Expressions

Anh Duc Le, Bipin Indurkhya+1 more|arXiv (Cornell University)|Jan 21, 2019

Handwritten Text Recognition Techniques参考文献 14被引用 5

一句话总结

本文提出了一种模式生成策略，以在训练数据有限的情况下提升手写数学表达式（HME）识别性能。通过应用局部/全局扭曲以及在线HME的结构分解，作者生成了合成数据，从而在端到端深度学习系统中提升了性能，在CROHME 2014和2016数据集上分别实现了48.78%和45.60%的分类准确率，优于现有方法在小样本数据下的表现。

ABSTRACT

Recognition of Handwritten Mathematical Expressions (HMEs) is a challenging problem because of the ambiguity and complexity of two-dimensional handwriting. Moreover, the lack of large training data is a serious issue, especially for academic recognition systems. In this paper, we propose pattern generation strategies that generate shape and structural variations to improve the performance of recognition systems based on a small training set. For data generation, we employ the public databases: CROHME 2014 and 2016 of online HMEs. The first strategy employs local and global distortions to generate shape variations. The second strategy decomposes an online HME into sub-online HMEs to get more structural variations. The hybrid strategy combines both these strategies to maximize shape and structural variations. The generated online HMEs are converted to images for offline HME recognition. We tested our strategies in an end-to-end recognition system constructed from a recent deep learning model: Convolutional Neural Network and attention-based encoder-decoder. The results of experiments on the CROHME 2014 and 2016 databases demonstrate the superiority and effectiveness of our strategies: our hybrid strategy achieved classification rates of 48.78% and 45.60%, respectively, on these databases. These results are competitive compared to others reported in recent literature. Our generated datasets are openly available for research community and constitute a useful resource for the HME recognition research in future.

研究动机与目标

• 解决手写数学表达式（HME）识别系统中训练数据标注有限的挑战。
• 通过合成数据生成，在数据稀缺场景下提升识别性能。
• 开发并评估能够增强HME形状与结构多样性的模式生成策略。
• 创建一个公开可用的高质量合成数据集，以支持未来的HME研究。
• 验证混合数据增强策略在端到端深度学习识别系统中的有效性。

提出的方法

• 作者对CROHME 2014和2016数据集中的在线HME应用局部和全局扭曲，以生成形状变化。
• 他们将完整的在线HME分解为子在线HME，以生成结构变化。
• 采用混合策略，结合基于扭曲和基于分解的生成方法，以最大化多样性。
• 将生成的在线HME转换为图像格式，用于离线识别评估。
• 使用基于CNN和基于注意力机制的编码器-解码器的端到端识别系统来评估性能。
• 该方法以公开的CROHME数据集为基础，用于合成数据的创建。

实验结果

研究问题

• RQ1 在训练数据有限的情况下，合成数据生成是否能提升手写数学表达式的识别准确率？
• RQ2 局部和全局扭曲在生成HME形状变化方面有多有效？
• RQ3 HME的结构分解在多大程度上能提升识别性能？
• RQ4 结合形状与结构变化生成是否优于单一策略？
• RQ5 所生成的合成数据集能否成为未来HME研究的可行资源？

主要发现

• 混合模式生成策略在CROHME 2014数据集上实现了48.78%的分类准确率，表现出色。
• 在CROHME 2016数据集上，混合策略达到了45.60%的分类准确率，显示出一致的性能提升。
• 在低数据环境下，所提出的生成策略显著优于基线方法。
• 生成的合成数据集公开可用，为未来HME研究提供了宝贵资源。
• 通过混合生成方法结合形状与结构变化，获得了最佳的识别结果。
• 端到端深度学习系统有效利用了增强后的数据，证明了该方法的可扩展性与鲁棒性。