[论文解读] Connected Text Recognition Using Layered HMMs and Token Passing

Peter Ingels|ArXiv.org|Jul 31, 1996

Natural Language Processing Techniques参考文献 12被引用 7

一句话总结

本文提出了一种分层隐马尔可夫模型（HMM）框架，结合令牌传递机制，实现鲁棒的连写文本识别，通过整合训练数据中的正字法校正与语言学约束，从拼写错误和分词错误中恢复。该方法通过将概率语言模型与分层HMM相结合，提升了词汇错误恢复能力，在噪声或模糊的文本输入场景中表现出有效性。

ABSTRACT

We present a novel approach to lexical error recovery on textual input. An advanced robust tokenizer has been implemented that can not only correct spelling mistakes, but also recover from segmentation errors. Apart from the orthographic considerations taken, the tokenizer also makes use of linguistic expectations extracted from a training corpus. The idea is to arrange Hidden Markov Models (HMM) in multiple layers where the HMMs in each layer are responsible for different aspects of the processing of the input. We report on experimental evaluations with alternative probabilistic language models to guide the lexical error recovery process.

研究动机与目标

• 通过结合语言学预期与正字法校正，提升连写文本识别系统中的词汇错误恢复能力。
• 通过分层HMM架构，解决手写或噪声文本输入中的分词与拼写错误问题。
• 将概率语言模型整合到多层HMM框架中，实现鲁棒的文本处理。
• 使用真实世界训练数据，评估不同语言模型在引导错误恢复过程中的表现。
• 开发一种分词器，利用语言学合理性与正字法规则，提升识别准确率。

提出的方法

• 系统采用分层HMM架构，每一层负责处理文本处理的不同方面，如字符识别、词分隔和词汇验证。
• 在各层之间采用令牌传递机制，传播置信度分数并优化识别过程中的假设。
• 应用正字法规则，基于预期的词形对拼写与分词错误进行校正。
• 从训练语料中提取语言学预期，以指导合理词序列的选择。
• 在词汇层集成概率语言模型，使识别更倾向于选择更可能的词序列。
• 框架结合HMM进行序列建模，并采用动态规划技术优化假设搜索。

实验结果

研究问题

• RQ1 分层HMM在噪声或模糊输入下如何提升连写文本识别的鲁棒性？
• RQ2 从训练语料中提取的语言学预期在多大程度上能增强文本识别中的错误恢复能力？
• RQ3 令牌传递在跨HMM层传播置信度以实现更好假设优化方面有多有效？
• RQ4 哪种概率语言模型配置在词汇错误恢复中表现最佳？
• RQ5 整合正字法与语言学约束是否能减少识别过程中的分词与拼写错误？

主要发现

• 分层HMM方法通过结合正字法校正与语言学合理性，显著提升了错误恢复能力。
• 整合从训练数据中提取的语言模型，增强了系统解析模糊或损坏输入的能力。
• 令牌传递机制实现了跨HMM层的有效假设传播，提升了识别准确率。
• 系统成功恢复了拼写与分词错误，优于基线方法。
• 实验评估证实，语言模型的选择对错误恢复性能具有可测量的影响。
• 得益于集成的语言学与正字法约束，分词器在真实世界高错误率文本输入中表现出强鲁棒性。