[论文解读] Exploiting N-Best Hypotheses to Improve an SMT Approach to Grammatical Error Correction

Duc Tam Hoang, Shamil Chollampatt+1 more|arXiv (Cornell University)|Jun 1, 2016

Natural Language Processing Techniques被引用 16

一句话总结

本文通过使用监督式编辑分类器评估单个编辑的有效性，利用n-best假设改进基于统计机器翻译（SMT）的语法错误修正（GEC）方法。该方法通过重排序或编辑选择来提升修正准确率，在CoNLL-2014基准测试中实现了41.19%的新SOTA F₀.₅得分，显著优于基线模型，且通过引入全局上下文信息实现了显著性能提升。

ABSTRACT

Grammatical error correction (GEC) is the task of detecting and correcting grammatical errors in texts written by second language learners. The statistical machine translation (SMT) approach to GEC, in which sentences written by second language learners are translated to grammatically correct sentences, has achieved state-of-the-art accuracy. However, the SMT approach is unable to utilize global context. In this paper, we propose a novel approach to improve the accuracy of GEC, by exploiting the n-best hypotheses generated by an SMT approach. Specifically, we build a classifier to score the edits in the n-best hypotheses. The classifier can be used to select appropriate edits or re-rank the n-best hypotheses. We apply these methods to a state-of-the-art GEC system that uses the SMT approach. Our experiments show that our methods achieve statistically significant improvements in accuracy over the best published results on a benchmark test dataset on GEC.

研究动机与目标

• 为解决基于短语的SMT在GEC系统中的局限性，即无法捕捉长距离依赖关系和全局句子上下文，导致生成不合法的修正结果。
• 通过利用SMT系统生成的n-best假设中包含的多样化修正候选，提升修正准确率。
• 开发一种监督式编辑分类器，利用全局语言上下文评估单个编辑的有效性。
• 提出两种新方法——重排序与编辑选择，利用分类器提升基于SMT的GEC性能。

提出的方法

• 基于SMT的GEC系统为每个输入句子生成n-best假设，提供多个修正候选。
• 训练一个监督式编辑分类器，以区分有效与无效编辑，使用特征如最近的名词/动词短语核心词及句法依存关系。
• 在重排序中，将分类器得分作为对数线性模型中的一个特征，用于对n-best假设重新排序。
• 在编辑选择中，对所有假设中的编辑计算分类器得分，并选择得分最高且不重叠的编辑，组合形成一个新且更优的假设。
• 编辑分类器所使用的特征与SMT系统无关，因此可应用于多种GEC系统。
• 该方法在CoNLL-2014基准上进行评估，消融实验验证了编辑选择方法的有效性。

实验结果

研究问题

• RQ1 能否通过利用基于SMT的GEC系统生成的n-best假设，使修正准确率超越基线SMT模型？
• RQ2 在考虑全局句子上下文时，监督式编辑分类器在识别有效编辑方面的有效性如何？
• RQ3 与对单个假设进行重排序相比，通过组合多个假设中高分编辑的编辑选择方法是否能取得更好结果？
• RQ4 随着n在n-best假设中增加，性能在多大程度上趋于饱和？
• RQ5 由于分类器与SMT模型无关，其是否可在不同GEC系统之间实现泛化？

主要发现

• 编辑选择方法表现最佳，在CoNLL-2014测试集上达到41.19%的F₀.₅得分，显著优于基线SMT系统。
• 编辑选择方法生成了原始n-best列表中不存在的新假设，证明其具备跨假设组合修正的能力。
• 使用分类器得分进行重排序可提升性能，但当k > 10时性能趋于饱和，因为大多数句子因剪枝仅生成少于10个假设。
• 排名靠后的假设对性能贡献甚微，因其通常包含低分编辑，且平均分类器得分被用作重排序特征。
• 分类器的特征（如最近的名词或动词短语核心词）能有效捕捉长距离依赖关系，如主谓一致和冠词-名词一致。
• 由于分类器与SMT系统解耦，可应用于组合多个GEC系统输出，表明其具有广泛适用性。