[论文解读] Applying Winnow to Context-Sensitive Spelling Correction

Andrew R. Golding, Dan Roth|ArXiv.org|Jul 19, 1996

Topic Modeling被引用 95

一句话总结

该论文将Winnow算法——一种乘法权重更新方法——应用于上下文敏感的拼写纠错任务，以修正诸如将'too'误拼为'to'等错误，这些错误会产生有效词汇。WinnowS在使用完整特征集并结合监督与无监督学习方法适应不熟悉测试数据时，表现优于贝叶斯分类器。

ABSTRACT

Multiplicative weight-updating algorithms such as Winnow have been studied extensively in the COLT literature, but only recently have people started to use them in applications. In this paper, we apply a Winnow-based algorithm to a task in natural language: context-sensitive spelling correction. This is the task of fixing spelling errors that happen to result in valid words, such as substituting {\it to\/} for {\it too}, {\it casual\/} for {\it causal}, and so on. Previous approaches to this problem have been statistics-based; we compare Winnow to one of the more successful such approaches, which uses Bayesian classifiers. We find that: (1)~When the standard (heavily-pruned) set of features is used to describe problem instances, Winnow performs comparably to the Bayesian method; (2)~When the full (unpruned) set of features is used, Winnow is able to exploit the new features and convincingly outperform Bayes; and (3)~When a test set is encountered that is dissimilar to the training set, Winnow is better than Bayes at adapting to the unfamiliar test set, using a strategy we will present for combining learning on the training set with unsupervised learning on the (noisy) test set.

研究动机与目标

• 评估基于Winnow的学习方法在高维特征空间的真实世界NLP任务中的表现。
• 在上下文敏感的拼写纠错任务中，将WinnowS与最先进的贝叶斯方法（Bayes）进行比较。
• 研究WinnowS利用混合监督/无监督学习策略适应不同测试集的能力。
• 评估在大规模特征集（包括超过10,000个未剪枝特征）下的性能扩展性。

提出的方法

• WinnowS使用乘法权重更新算法，从描述混淆集中模糊词语周围上下文的特征中学习。
• 特征包括目标词语周围的局部词项存在性、词性模式以及句法结构。
• 该算法在训练集（如80% Brown）上进行监督学习，并在噪声测试集（如20% WSJ）上进行无监督学习，以适应分布偏移。
• 混合策略在80% Brown上进行训练，然后利用20% WSJ测试集中的正确标签增量式更新权重。
• WinnowS采用极简的特征剪枝，使实验中可使用高达11,000个特征。
• 该方法独立处理每个混淆集，并通过基于学习权重选择最可能的正确词语来实现词义消歧。

实验结果

研究问题

• RQ1 当使用高度剪枝的特征集时，WinnowS与贝叶斯方法的性能是否相当？
• RQ2 当使用完整且未剪枝的特征集时，WinnowS能否显著优于贝叶斯方法？
• RQ3 WinnowS在测试集与训练集在词汇使用模式上存在差异时，适应能力如何？
• RQ4 结合在训练数据上的监督学习与在噪声测试集上的无监督学习，是否能提升在分布外数据上的泛化能力？
• RQ5 随着测试集污染程度的增加，性能如何下降？在此类条件下，WinnowS与Bayes的表现如何比较？

主要发现

• 当使用高度剪枝的特征集（10–1000个特征）时，WinnowS与Bayes的性能相当。
• 在使用完整未剪枝特征集（最多11,000个特征）时，WinnowS在21个混淆集中的20个上显著优于Bayes。
• 在与训练集不同的测试集上测试时（例如，在Brown上训练后在WSJ上测试），结合无监督适应的WinnowS显著优于Bayes。
• sup/unsup策略（在80% Brown上监督学习 + 在20% WSJ上无监督学习）使WinnowS能够有效适应领域偏移，尤其在低污染水平下表现更优。
• 由于测试集污染导致的性能下降，WinnowS比Bayes更轻微；在20%污染水平下，Bayes从无监督学习中获得的改进几乎被抵消。
• 增量学习（在Brown上训练 + 使用WSJ标签更新）取得了良好结果，但与sup/unsup策略不具直接可比性，因其使用了不同的训练数据。