[论文解读] Combining Trigram-based and Feature-based Methods for Context-Sensitive Spelling Correction

Andrew R. Golding, Yves Schabes|ArXiv.org|May 31, 1996

Speech and dialogue systems被引用 5

一句话总结

该论文提出Tribayes，一种混合拼写纠错系统，结合三元语法的句法上下文建模与基于特征的贝叶斯分类，以提升上下文敏感型错误检测能力。通过整合词性三元语法以施加句法约束，并利用针对单词的特征以区分词汇差异，Tribayes在同音词和搭配错误上的表现优于单一方法及Microsoft Word的语法检查器。

ABSTRACT

This paper addresses the problem of correcting spelling errors that result in valid, though unintended words (such as ``peace'' and ``piece'', or ``quiet'' and ``quite'') and also the problem of correcting particular word usage errors (such as ``amount'' and ``number'', or ``among'' and ``between''). Such corrections require contextual information and are not handled by conventional spelling programs such as Unix `spell'. First, we introduce a method called Trigrams that uses part-of-speech trigrams to encode the context. This method uses a small number of parameters compared to previous methods based on word trigrams. However, it is effectively unable to distinguish among words that have the same part of speech. For this case, an alternative feature-based method called Bayes performs better; but Bayes is less effective than Trigrams when the distinction among words depends on syntactic constraints. A hybrid method called Tribayes is then introduced that combines the best of the previous two methods. The improvement in performance of Tribayes over its components is verified experimentally. Tribayes is also compared with the grammar checker in Microsoft Word, and is found to have substantially higher performance.

研究动机与目标

• 解决因错误词为有效英语形式而导致的上下文敏感型拼写错误（例如：'peace' 与 'piece'）。
• 纠正涉及具有不同搭配模式的近义词的用词错误（例如：'amount' 与 'number'，'among' 与 'between'）。
• 克服传统工具（如Unix 'spell'）缺乏上下文感知能力的局限性。
• 开发一种混合模型，融合句法三元语法与词汇特征基方法的优势。
• 证明其在现有系统（包括Microsoft Word的语法检查器）之上具有更优性能。

提出的方法

• 使用词性三元语法（Trigrams）建模句法上下文，以极少参数编码词序约束。
• 应用基于贝叶斯分类器（Bayes）的方法，利用词汇与上下文特征区分同音词与搭配错误。
• 设计混合模型Tribayes，通过对其置信度分数进行加权融合，整合Trigrams与Bayes模型。
• 在词性序列上训练Trigrams模型，以捕捉词序的句法合理性。
• 在诸如词频、搭配模式与词形线索等特征上训练Bayes模型，以解决模糊选择问题。
• 采用置信度加权投票机制整合两个模型，以提升纠错准确率。

实验结果

研究问题

• RQ1 词性三元语法能否有效建模句法上下文，以区分同音词？
• RQ2 在句法结构不足以区分的情况下，基于特征的贝叶斯分类是否能比三元语法模型更好地解决词汇歧义？
• RQ3 结合三元语法与基于特征的方法是否能带来相较于单一方法的性能提升？
• RQ4 Tribayes混合模型在纠正上下文敏感型错误方面，与Microsoft Word语法检查器相比表现如何？
• RQ5 该混合方法能否在不同类型同音词与搭配错误上实现良好泛化？

主要发现

• Tribayes在单独使用Trigrams与Bayes模型时均实现了显著的性能提升。
• 混合模型在上下文敏感型拼写纠错任务中优于Microsoft Word的语法检查器。
• 当纠错依赖于句法约束（如主谓一致）时，Trigrams比Bayes更有效。
• 当区分依赖于词汇或搭配特征而非句法时，Bayes优于Trigrams。
• Tribayes通过融合两种方法的互补优势，实现了更高的整体准确率。
• 该系统在各类错误类型（包括同音词与近义词误用）中表现出强鲁棒性。