[论文解读] Handwriting recognition using Cohort of LSTM and lexicon verification with extremely large lexicon

Bruno Stuner, Clément Chatelain+1 more|arXiv (Cornell University)|Dec 22, 2016

Handwritten Text Recognition Techniques被引用 5

一句话总结

该论文提出了一种新颖的手写识别框架，结合LSTM网络组与词典验证，实现了在Rimes和IAM数据集上的最先进性能。通过单次训练过程训练数百个互补的LSTM网络，并应用快速的词级验证，该方法在极小计算开销下支持超大词典（最多达300万词），准确率高，将Rimes数据集上的词错误率（WER）降低至2.28%（使用5,744词词典）和8.04%（使用327万词词典）。

ABSTRACT

State-of-the-art methods for handwriting recognition are based on Long Short Term Memory (LSTM) recurrent neural networks (RNN), which now provides very impressive character recognition performance. The character recognition is generally coupled with a lexicon driven decoding process which integrates dictionaries. Unfortunately these dictionaries are limited to hundred of thousands words for the best systems, which prevent from having a good language coverage, and therefore limit the global recognition performance. In this article, we propose an alternative to the lexicon driven decoding process based on a lexicon verification process, coupled with an original cascade architecture. The cascade is made of a large number of complementary networks extracted from a single training (called cohort), making the learning process very light. The proposed method achieves new state-of-the art word recognition performance on the Rimes and IAM databases. Dealing with gigantic lexicon of 3 millions words, the methods also demonstrates interesting performance with a fast decision stage.

研究动机与目标

• 克服传统词典驱动解码的局限性，后者受限于小词典规模（通常小于20万词）和高计算成本。
• 在不牺牲速度或准确率的前提下，实现对超大词典（最多达300万词）的高效识别。
• 开发一种快速、可扩展的决策机制，通过词典验证和最小决策一致规则避免使用束搜索。
• 证明单次训练过程可生成大量互补的LSTM网络，从而降低训练开销。
• 在标准基准数据集（Rimes和IAM）上实现最先进水平的词识别性能，同时保持极低的处理时间。

提出的方法

• 采用级联架构，多个LSTM网络从单一模型中同时训练，通过参数共享和梯度更新生成互补的识别器。
• 2100个LSTM网络的集合源自单一训练过程，利用理论洞察，可在训练期间高效提取多个网络。
• 通过词典验证做出词识别决策：仅当假设词存在于词典中时才被接受，显著减少误报。
• 在集合中应用最小决策一致规则（MNDA），进一步降低误接受率并提高鲁棒性。
• 系统以级联方式处理单词：一旦某词被验证并接受，便不再传递给后续网络，从而降低平均处理时间。
• 应用剪枝技术，将网络集合从2100个减少至118个，保持高性能的同时将平均处理时间从729毫秒降至197毫秒。

实验结果

研究问题

• RQ1 单次训练过程能否生成大量互补的LSTM网络集合，从而整体提升识别性能？
• RQ2 在极大型词典下，词典验证是否在速度和准确率上优于传统的基于束搜索的词典驱动解码？
• RQ3 当词典规模扩展至300万词时，系统能否保持高准确率和低处理时间？
• RQ4 在性能损失可接受的前提下，该网络集合最多可剪枝至何种程度？
• RQ5 所提出的框架能否在标准手写识别基准（如Rimes和IAM）上实现最先进性能？

主要发现

• 在Rimes数据集上，使用5,744词词典时，系统实现92.96%的词识别率（WRR）和2.28%的词错误率（WER），优于先前方法。
• 在327万词词典下，系统仍保持8.04%的WER，证明对词典规模扩展具有强鲁棒性。
• 剪枝后的系统仅使用118个网络，WER为3.64%（相比完整集合的3.48%），性能损失极小，但处理时间减少73%。
• 处理时间极为高效：80%的单词在14个网络后处理完成（<0.175秒），90%在41个网络后完成（<0.5秒）。
• 即使在超大词典下，词典验证每检查耗时也低于1微秒，展现出高度可扩展性和速度优势。
• 该方法在Rimes和IAM数据集上均实现最先进性能，且仅需极少超参数调优，在不同词典规模下均表现出强泛化能力。