[论文解读] Candidate Fusion: Integrating Language Modelling into a Sequence-to-Sequence Handwritten Word Recognition Architecture

Lei Kang, Pau Riba+3 more|arXiv (Cornell University)|Dec 21, 2019

Handwritten Text Recognition Techniques参考文献 47被引用 4

一句话总结

本文提出候选融合（Candidate Fusion），一种新颖方法，通过联合训练识别器与语言模型，将外部语言模型集成到序列到序列的手写单词识别系统中。该方法能够动态融合语言模型预测结果与识别器输出，自适应地从识别错误中学习，并在公开数据集和真实工业应用场景中超越当前最先进方法。

ABSTRACT

Sequence-to-sequence models have recently become very popular for tackling handwritten word recognition problems. However, how to effectively integrate an external language model into such recognizer is still a challenging problem. The main challenge faced when training a language model is to deal with the language model corpus which is usually different to the one used for training the handwritten word recognition system. Thus, the bias between both word corpora leads to incorrectness on the transcriptions, providing similar or even worse performances on the recognition task. In this work, we introduce Candidate Fusion, a novel way to integrate an external language model to a sequence-to-sequence architecture. Moreover, it provides suggestions from an external language knowledge, as a new input to the sequence-to-sequence recognizer. Hence, Candidate Fusion provides two improvements. On the one hand, the sequence-to-sequence recognizer has the flexibility not only to combine the information from itself and the language model, but also to choose the importance of the information provided by the language model. On the other hand, the external language model has the ability to adapt itself to the training corpus and even learn the most commonly errors produced from the recognizer. Finally, by conducting comprehensive experiments, the Candidate Fusion proves to outperform the state-of-the-art language models for handwritten word recognition tasks.

研究动机与目标

• 解决在不同语料上训练的序列到序列手写单词识别器与外部语言模型集成的挑战。
• 克服光学识别与语言模型训练数据之间分布偏差导致的性能下降问题。
• 使语言模型能够在联合训练过程中适应并纠正光学识别器的常见错误。
• 开发一种灵活且可训练的融合机制，避免手动调整融合权重的超参数。
• 在公开基准和真实工业数据集上均展示出鲁棒性与泛化能力。

提出的方法

• 提出候选融合（Candidate Fusion），一种可训练的融合机制，将外部语言模型的预测作为额外输入标记序列注入到序列到序列解码器中。
• 在相同的识别数据上联合训练序列到序列模型与外部语言模型，使语言模型能够从识别器的错误模式中学习并加以纠正。
• 在解码器中使用注意力机制，动态关注视觉特征以及来自语言模型的候选转录结果。
• 在预训练阶段整合合成手写数据与数据增强策略，以提升泛化能力与鲁棒性。
• 在解码过程中应用可学习的融合门控或基于注意力的加权机制，控制语言模型预测的影响。
• 在消融研究中引入基于编辑距离的词典约束，评估在词汇受限条件下的性能表现。

Figure 10: A cropped area of the real industrial use case dataset.

实验结果

研究问题

• RQ1 序列到序列识别器与外部语言模型的联合训练能否缓解因语料不匹配导致的性能下降？
• RQ2 候选融合与浅层融合及深层融合基线相比，在识别准确率与鲁棒性方面表现如何？
• RQ3 语言模型在训练过程中能在多大程度上适应并纠正光学识别器产生的常见错误？
• RQ4 所提方法是否能在包含复杂、噪声较多的手写表单的真实工业数据集上实现良好泛化？
• RQ5 候选融合是否能在不依赖封闭词典的情况下超越当前最先进方法？

主要发现

• 在IAM数据集上，候选融合将CER从5.79降低至5.74，在GW数据集上从2.82降至2.52，优于浅层与深层融合基线。
• 在Rimes数据集上，候选融合实现CER 2.32与WER 7.47，显著优于基线（CER 2.65，WER 8.71）及其他融合方法。
• 在封闭词典条件下，候选融合在Rimes数据集上实现CER 1.45（仅使用测试集词典），相比基线错误率降低超过40%。
• 在涉及车祸陈述表单的真实工业用例中，候选融合实现CER 3.7与WER 4.5，优于强基线CTC模型（CER 5.6，WER 7.4）。
• 消融研究证实，与语言模型联合训练可带来更优的错误纠正与泛化能力，尤其当语言模型被适配于识别器特异性错误时效果更显著。