[论文解读] Improving Long Handwritten Text Line Recognition with Convolutional Multi-way Associative Memory

Duc Dung Nguyen, Nhan Viet Tran+1 more|arXiv (Cornell University)|Nov 5, 2019

Handwritten Text Recognition Techniques参考文献 42被引用 4

一句话总结

本文提出卷积多路关联记忆（CMAM），一种通过引入外部记忆模块实现多路关联访问与优化步骤的内存增强型CRNN架构，显著提升了长手写文本行识别性能。CMAM在长而复杂的日文文本行上将字符错误率（CER）降低高达14%，优于标准CRNN和DNC，在长上下文场景中表现尤为突出。

ABSTRACT

Convolutional Recurrent Neural Networks (CRNNs) excel at scene text recognition. Unfortunately, they are likely to suffer from vanishing/exploding gradient problems when processing long text images, which are commonly found in scanned documents. This poses a major challenge to goal of completely solving Optical Character Recognition (OCR) problem. Inspired by recently proposed memory-augmented neural networks (MANNs) for long-term sequential modeling, we present a new architecture dubbed Convolutional Multi-way Associative Memory (CMAM) to tackle the limitation of current CRNNs. By leveraging recent memory accessing mechanisms in MANNs, our architecture demonstrates superior performance against other CRNN counterparts in three real-world long text OCR datasets.

研究动机与目标

• 解决CRNN在处理长手写文本行时的梯度消失/爆炸问题。
• 克服基于RNN的解码器在捕捉手写文本中长距离上下文依赖关系方面的局限性。
• 通过引入受记忆增强神经网络（MANNs）启发的外部记忆模块，提升手写文本识别中的序列建模能力。
• 证明内存增强架构在长而复杂文本识别任务中可超越标准CRNN。
• 在多种数据集上评估所提出的CMAM模型，以验证其在不同语言和文本长度下的鲁棒性与泛化能力。

提出的方法

• 将外部记忆模块集成到卷积循环神经网络（CRNN）中，以替代标准的基于RNN的解码器。
• 使用具有两个分支的控制器网络：一个用于将特征写入记忆，另一个通过可微注意力机制从记忆中读取。
• 实现多路关联记忆访问，允许多个记忆单元同时被访问，以提升上下文建模能力。
• 应用迭代优化步骤（l=1），在多个时间步内提升记忆读取的准确性和特征表示。
• 使用连接时序分类（CTC）损失端到端训练模型，实现序列到序列的对齐。
• 在真实扫描文档微调前，先在合成日文文本图像（10万张样本）上进行预训练，以提升数据效率。

实验结果

研究问题

• RQ1 内存增强架构是否能在长上下文手写文本识别中超越标准CRNN？
• RQ2 与标准RNN相比，多路关联记忆访问在手写文本识别中如何提升序列建模能力？
• RQ3 在长且复杂的文本行上，尤其是低资源或噪声环境下，外部记忆的引入是否能降低字符错误率？
• RQ4 在合成数据上进行预训练在提升真实手写文本识别任务泛化能力方面有多有效？
• RQ5 记忆访问中的迭代优化在多大程度上提升了长文本行的识别准确率？

主要发现

• CMAM在单次优化步骤（l=1）下，相较于CRNN，在私有日文数据集的验证集上CER降低14.29%，测试集上降低14.01%。
• 在日文数据集上，CMAM在合成数据预训练后，测试CER降至10.71%，优于CRNN的11.62%，提升0.91个百分点。
• 在IAM英文数据集上，CMAM（l=1）相较标准CRNN将CER降低超过2%，表明即使在较短且清晰的文本行上也具有一致的性能提升。
• 在SCUT-EPT中文数据集上，CMAM的正确率（CR）比CRNN高出3.04%（82.14% vs. 81.47%），证实其在复杂脚本中的优越性。
• CMAM与CRNN之间的性能差距在更长、更复杂的文本行上进一步扩大，表明记忆机制在长上下文建模中尤为有益。
• 在合成数据上进行预训练能显著提升CRNN性能，但对CMAM的增益相对较小，表明CMAM更具数据效率，且对分布偏移更具鲁棒性。