[论文解读] A Probabilistic Framework for Lexicon-based Keyword Spotting in Handwritten Text Images

Enrique Vidal, Alejandro H. Toselli+1 more|arXiv (Cornell University)|Apr 9, 2021

Handwritten Text Recognition Techniques参考文献 64被引用 6

一句话总结

本文提出了一种基于概率、无需分割、基于词典的关键词检测（KWS）框架，用于手写文本图像，利用现代手写文本识别中的统计模型，直接估计图像区域中的词似然性，而无需事先转录。该方法在多个基准数据集和大规模数据集上实现了最先进性能，显著优于以往方法。

ABSTRACT

Query by String Keyword Spotting (KWS) is here considered as a key technology for indexing large collections of handwritten text images to allow fast textual access to the contents of these collections. Under this perspective, a probabilistic framework for lexicon-based KWS in text images is presented. The presentation aims at providing a tutorial view that helps to understand the relations between classical statements of KWS and the relative challenges entailed by these statements. More specifically, the development of the proposed framework makes it self-evident that word recognition or classification implicitly or explicitly underlies any formulation of KWS. Moreover, it clearly suggests that the same statistical models and training methods successfully used for handwriting text recognition can advantageously be used also for KWS, even though KWS does not generally require or rely on any kind of previously produced image transcripts. These ideas are developed into a specific, probabilistically sound approach for segmentation-free, lexicon-based, query-by-string KWS. Experiments carried out using this approach are presented, which support the consistency and general interest of the proposed framework. Several datasets, traditionally used for KWS benchmarking are considered, with results significantly better than those previously published for these datasets. In addition, results on two new, larger handwritten text image datasets are reported, showing the great potential of the methods proposed in this paper for indexing and textual search in large collections of handwritten documents.

研究动机与目标

• 开发一种鲁棒、可扩展的关键词检测系统，用于大规模手写文本图像集合，其中人工转录不可行。
• 解决传统 KWS 方法依赖词级分割或完整转录的局限性，这些方法在历史手稿中容易出错。
• 证明词识别模型可直接用于 KWS，而无需事先提供图像转录。
• 通过在图像-文本联合分布上进行概率推理，实现在大规模手写文档集合中高效且准确的文本搜索。
• 在标准基准和新构建的大规模数据集上评估该框架，以验证其泛化能力和可扩展性。

提出的方法

• 该框架使用词图表示法建模图像区域及其内容的联合概率分布，实现端到端的概率推理。
• 它利用现代无分割手写文本识别（HTR）中使用的相同统计模型和训练流程（如 HMM 或 DNN）进行 KWS。
• 通过联合图像-文本模型计算查询词的相关性得分，作为后验概率，避免了显式分割或识别。
• 该方法在行或块级别运行，将这些作为搜索单元，以降低分割复杂度。
• 采用基于词典的方法，查询词来自从训练数据中提取的预定义词汇表。
• 对于未登录词（OOV），该框架探索使用相似的已登录词进行平滑处理，并正朝着全字符级（无词典）索引方向扩展。

实验结果

研究问题

• RQ1 能否基于 HTR 模型构建一个统一的概率框架，有效应用于关键词检测，而无需事先提供图像转录？
• RQ2 无分割、基于词典的 KWS 方法在标准和大规模手写文档数据集上的性能与现有方法相比如何？
• RQ3 在 HTR 中使用的相同统计模型，能在多大程度上通过最小修改被重新用于 KWS？
• RQ4 该框架如何处理未登录词（OOV）查询，其在查询响应时间和准确性之间的权衡如何？
• RQ5 该框架能否在保持高检索准确率的前提下，有效扩展到包含数百万页的大规模文档集合？

主要发现

• 所提出的 KWS 框架在多个标准基准数据集上实现了手写文本图像关键词检测的最先进性能。
• 在两个新的、更大的手写文档数据集上，该方法展现出强大的泛化能力和可扩展性，显著优于以往发表的结果。
• 该框架的性能始终优于以往的基于词典和无词典的 KWS 方法，尤其在准确性和效率方面表现突出。
• 通过词图实现的图像-文本联合概率建模，使无需显式词分割或完整转录即可实现稳健的关键词检测。
• 该方法在实际部署中展现出强大潜力，其已集成至 HIMANIS 搜索系统，支持大规模（75,000 页）索引和实时查询。
• 初步研究表明，在同一概率框架内采用字符级建模实现无词典 KWS，有望在不损失性能的前提下处理 OOV 查询。