[论文解读] End-to-End Text Recognition with Hybrid HMM Maxout Models

Ouais Alsharif, Joëlle Pineau|arXiv (Cornell University)|Oct 7, 2013

Handwritten Text Recognition Techniques参考文献 25被引用 100

一句话总结

该论文提出了一种基于混合HMM-Maxout模型的端到端文本识别系统，用于字符和单词识别。系统利用带有Dropout的深度卷积Maxout网络实现高精度字符识别，并采用可扩展、词典高效的单词识别器。该系统在ICDAR 2003和SVT基准上实现了最先进（SOTA）的F值，尽管使用了简单的MSER文本检测器，仍优于以往的端到端方法。

ABSTRACT

The problem of detecting and recognizing text in natural scenes has proved to be more challenging than its counterpart in documents, with most of the previous work focusing on a single part of the problem. In this work, we propose new solutions to the character and word recognition problems and then show how to combine these solutions in an end-to-end text-recognition system. We do so by leveraging the recently introduced Maxout networks along with hybrid HMM models that have proven useful for voice recognition. Using these elements, we build a tunable and highly accurate recognition system that beats state-of-the-art results on all the sub-problems for both the ICDAR 2003 and SVT benchmark datasets.

研究动机与目标

• 为解决端到端场景文本识别的挑战，该任务结合了文本检测、字符识别与单词识别，实现高精度与高效率。
• 通过应用具有广泛Dropout正则化的深度卷积Maxout网络，提升字符识别的准确性。
• 设计一种快速、准确、可扩展至大规模词典且能整合高阶n-gram语言模型的单词识别器。
• 构建一个端到端系统，在多样化的场景文本基准上实现精度、召回率、速度与F值的平衡。
• 证明将字符识别与单词识别模块以模块化、分层方式集成，可在标准基准上实现更优性能。

提出的方法

• 字符识别模块采用深层卷积Maxout网络，并施加大量Dropout，以减少过拟合并提升在场景文本图像上的泛化能力。
• 单词识别模块采用混合HMM/Maxout架构，将单词序列建模为类似音素的字符序列，从而实现高精度的序列建模。
• 通过HMM框架将词典与高阶n-gram模型集成，实现与词典大小无关的常数时间计算。
• 采用基于视觉相似度与编辑距离的损失函数对单词预测进行评分，支持重叠检测的过滤与非极大值抑制。
• 端到端流程使用MSER进行文本区域提议，随后依次通过字符识别与单词识别模块，并通过非极大值抑制与编辑距离过滤进行后处理。
• 系统在标准基准上进行训练与评估，采用精确率、召回率与F值作为指标，并以50%重叠阈值判定检测结果。

实验结果

研究问题

• RQ1 在最小预处理条件下，具有Dropout的深度卷积Maxout网络是否能在场景文本字符识别中超越现有方法？
• RQ2 如何设计一种单词识别系统，使其在大规模词典下仍保持高准确率与可扩展性？
• RQ3 混合HMM/Maxout模型是否能以类似语音识别中音素建模的方式，有效建模单词序列？
• RQ4 将字符识别与单词识别模块整合到端到端流程中，能在多大程度上提升标准基准上的整体F值？
• RQ5 当与高度精确的识别模块配合时，简单的文本检测器（如MSER）是否仍能实现端到端的SOTA性能？

主要发现

• 所提出的字符识别模型在ICDAR 2003与SVT数据集上达到SOTA性能，优于以往方法，且仅使用最小预处理。
• 单词识别模块在词典规模增大时仍保持常数时间推理，实现对大规模词典的高效扩展，且性能无下降。
• 端到端系统在ICDAR 2003与SVT基准上，作为现有端到端方法中F值最高的系统，表现优异，即使使用MSER进行文本检测。
• 在ICDAR 2003数据集中，系统在五种不同词典场景（包括完整词典与大词典设置）下均取得SOTA结果。
• 精确率/召回率曲线在不同词典规模下表现一致，证实了单词识别组件的鲁棒性与可扩展性。
• 视觉样本与定量结果表明，该系统在具有复杂背景与可变字体的真实场景文本上具有良好的泛化能力。