[论文解读] A Robust Text Processing Technique Applied to Lexical Error Recovery

Peter Ingels|ArXiv.org|Feb 5, 1997

Natural Language Processing Techniques参考文献 5被引用 39

一句话总结

本文提出了一种鲁棒的文本处理系统 ctr（Connected Text Recognition），通过在 Token Passing 框架中结合隐马尔可夫模型（HMMs）与统计语言模型，利用噪声信道模型统一处理词汇错误校正——包括拼写错误、分词错误以及现实世界中的错误。该系统在无需引入显著噪声的前提下，实现了近乎完美的分词错误校正，并在拼写错误和真实词汇错误校正方面表现出高准确率。

ABSTRACT

This thesis addresses automatic lexical error recovery and tokenization of corrupt text input. We propose a technique that can automatically correct misspellings, segmentation errors and real-word errors in a unified framework that uses both a model of language production and a model of the typing behavior, and which makes tokenization part of the recovery process. The typing process is modeled as a noisy channel where Hidden Markov Models are used to model the channel characteristics. Weak statistical language models are used to predict what sentences are likely to be transmitted through the channel. These components are held together in the Token Passing framework which provides the desired tight coupling between orthographic pattern matching and linguistic expectation. The system, CTR (Connected Text Recognition), has been tested on two corpora derived from two different applications, a natural language dialogue system and a transcription typing scenario. Experiments show that CTR can automatically correct a considerable portion of the errors in the test sets without introducing too much noise. The segmentation error correction rate is virtually faultless.

研究动机与目标

• 开发一个统一框架，用于自动校正受损文本输入中的多种词汇错误——包括拼写错误、分词错误和真实词汇错误。
• 使用隐马尔可夫模型（HMMs）将打字过程建模为噪声信道，以捕捉错误模式。
• 通过 Token Passing 框架紧密集成语言模型与拼写模式匹配，以提升错误恢复效果。
• 在真实对话语料库上评估系统，并在实际自然语言处理应用中展示其鲁棒性。
• 使自然语言对话系统能够处理用户输入中的打字错误，从而最大限度减少中断。

提出的方法

• 使用隐马尔可夫模型（HMMs）将打字过程建模为噪声信道，以表示输入错误的概率。
• 使用弱统计语言模型（一元语言模型、领域标签二元语言模型、词性标签二元语言模型）来估计正确语句的可能性。
• 在分层 HMM 架构中实现 Token Passing 框架，以耦合拼写模式匹配与语言学期望。
• 应用拼写解码器（OD）从原始输入生成候选词序列，同时考虑常见打字错误。
• 使用语言学解码器（LD）根据语言模型得分对假设进行排序，并选择最可能的正确句子。
• 集成束搜索机制，以高效探索合理的校正路径，同时控制计算开销。

实验结果

研究问题

• RQ1 统一框架能否有效同时校正多种类型的词汇错误——包括拼写错误、分词错误和真实词汇错误？
• RQ2 使用 HMMs 和统计语言模型的噪声信道模型在不引入额外噪声的情况下，能否有效恢复受损文本？
• RQ3 Token Passing 框架在多大程度上实现了拼写约束与语言学约束在错误恢复中的紧密集成？
• RQ4 该系统在存在自然发生打字错误的真实对话场景中表现如何？
• RQ5 系统能否区分未知词与拼写错误？可采用哪些启发式方法来改进此区分？

主要发现

• 系统实现了近乎无误的分词错误校正，表明其在处理词边界错误方面具有高度可靠性。
• 相当大比例的词汇错误——包括拼写错误和真实词汇错误——被自动校正，且未引入明显噪声。
• 使用领域标签二元语言模型和词性标签二元语言模型显著提升了校正准确率，通过引入上下文与句法信息。
• 束搜索机制有效限制了假设数量，保持了计算可行性，同时维持了高精度的校正效果。
• 系统在两个真实世界语料库上表现优异：一个自然语言对话系统（cars）和一个转录打字场景（secretary），展现出跨领域的适应能力。
• 该框架具有良好的可扩展性，未来可增加层以检测语义短语或对话行为，实现与数据库查询的直接映射。