[论文解读] A GRU-based Encoder-Decoder Approach with Attention for Online Handwritten Mathematical Expression Recognition

Jianshu Zhang, Jun Du+1 more|arXiv (Cornell University)|Dec 4, 2017

Handwritten Text Recognition Techniques参考文献 27被引用 12

一句话总结

该论文提出了一种基于GRU的端到端编码器-解码器模型，结合基于覆盖的注意力机制，用于在线手写数学表达式识别（OHMER），利用轨迹序列联合执行符号识别与结构分析。该方法仅使用官方训练数据，在CROHME 2014基准上实现了52.43%的表达式识别准确率，通过注意力机制自动学习空间关系与分割，优于先前的最先进方法。

ABSTRACT

In this study, we present a novel end-to-end approach based on the encoder-decoder framework with the attention mechanism for online handwritten mathematical expression recognition (OHMER). First, the input two-dimensional ink trajectory information of handwritten expression is encoded via the gated recurrent unit based recurrent neural network (GRU-RNN). Then the decoder is also implemented by the GRU-RNN with a coverage-based attention model. The proposed approach can simultaneously accomplish the symbol recognition and structural analysis to output a character sequence in LaTeX format. Validated on the CROHME 2014 competition task, our approach significantly outperforms the state-of-the-art with an expression recognition accuracy of 52.43% by only using the official training dataset. Furthermore, the alignments between the input trajectories of handwritten expressions and the output LaTeX sequences are visualized by the attention mechanism to show the effectiveness of the proposed method.

研究动机与目标

• 解决依赖显式分割与预定义语法的序列式与全局OHMER方法的局限性。
• 开发一种端到端深度学习框架，无需数学语法规则先验知识，联合执行符号识别、分割与结构分析。
• 通过GRU-RNN编码器与基于覆盖的注意力解码器，利用在线轨迹数据提升识别准确率。
• 通过可视化注意力对齐，展示模型学习手写表达式中直观空间关系的能力。

提出的方法

• 编码器使用双向GRU堆叠，将2D轨迹点编码为高层表示，捕捉空间与序列上下文信息。
• 解码器采用单向GRU与基于覆盖的注意力机制，逐个生成LaTeX格式输出标记。
• 注意力机制动态关注相关输入轨迹段，隐式学习符号边界与空间关系（如上标、下标、水平/垂直对齐）。
• 覆盖机制追踪已关注区域，防止重复注意力，提升对齐稳定性。
• 模型在单一可微分框架中联合训练，同时优化符号识别与结构解析。
• 输入轨迹预处理包括从原始(x, y, 时间戳)点中提取特征，形成RNN的输入序列。

实验结果

研究问题

• RQ1 端到端注意力机制的编码器-解码器模型是否能在无需显式分割或预定义语法规则的情况下，有效识别在线手写数学表达式？
• RQ2 注意力机制在学习与表示复杂二维空间关系（如上标、下标与分数）方面表现如何？
• RQ3 与标准注意力机制相比，基于覆盖的注意力机制是否能提升识别性能与对齐可解释性？
• RQ4 模型的注意力可视化在符号与结构定位方面与人类直觉的吻合程度如何？
• RQ5 在仅使用官方训练数据的前提下，该方法与最先进OHMER系统相比，在识别准确率方面表现如何？

主要发现

• 所提模型在CROHME 2014测试集上实现了52.43%的表达式识别准确率，显著优于先前最先进方法，且仅使用官方训练数据。
• 注意力机制成功实现输入轨迹段与输出LaTeX标记的对齐，可视化结果显示注意力聚焦于基字符的起始/结束位置以及上标/下标区域等关键区域。
• 模型无需依赖预定义语法规则或基于规则的解析，自动完成符号分割与结构分析。
• 基于覆盖的注意力机制提升了注意力稳定性并减少了冗余关注，从而改善了整体性能。
• 错误分析表明，过度翻译错误通常源于笔画分裂（如单个符号被拆分为两个），而漏译错误则多因关键笔画（如减号）书写顺序颠倒所致。
• 在检测到上标关系后，模型能正确生成LaTeX大括号用于指数，表明其具备隐式学习句法结构的能力。