[论文解读] Focus Is What You Need For Chinese Grammatical Error Correction

Jingheng Ye, Yinghui Li+4 more|arXiv (Cornell University)|Oct 23, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文提出 OneTarget，一种训练策略，通过为每个源句选择单一参考句来提升中文语法错误纠正（CGEC）性能，减少因多个有效纠正方式带来的混淆。尽管训练样本更少，但采用 OneTarget 训练的模型在 MuCGEC 上实现了更高的精确率和最先进性能，表明在现代 NLP 模型中，聚焦训练优于多参考训练。

ABSTRACT

Chinese Grammatical Error Correction (CGEC) aims to automatically detect and correct grammatical errors contained in Chinese text. In the long term, researchers regard CGEC as a task with a certain degree of uncertainty, that is, an ungrammatical sentence may often have multiple references. However, we argue that even though this is a very reasonable hypothesis, it is too harsh for the intelligence of the mainstream models in this era. In this paper, we first discover that multiple references do not actually bring positive gains to model training. On the contrary, it is beneficial to the CGEC model if the model can pay attention to small but essential data during the training process. Furthermore, we propose a simple yet effective training strategy called OneTarget to improve the focus ability of the CGEC models and thus improve the CGEC performance. Extensive experiments and detailed analyses demonstrate the correctness of our discovery and the effectiveness of our proposed method.

研究动机与目标

• 探究多参考训练对 CGEC 模型性能的影响。
• 解决训练数据中多个同等有效纠正方式带来的混淆问题。
• 通过降低训练数据复杂度，提升模型专注度与性能。
• 证明更少但更精炼的参考句可带来优于更大、更模糊的多参考集合的泛化能力。

提出的方法

• OneTarget 使用随机选择或 Levenshtein 比率排序等策略，为每个源句选择一个参考句。
• 该方法与模型无关，适用于基于 Seq2Edit 和基于 Seq2Seq 的 CGEC 模型。
• 通过过滤冗余参考句，构建更小、更一致的训练数据集。
• 在保持或提升性能的同时，将训练样本量减少 40%-50%。
• 实验对比了在完整多参考数据与 OneTarget 过滤后数据上训练的模型。
• 消融研究评估了在每条源句对应 1 至 3 个参考句的数据集上的性能表现。

实验结果

研究问题

• RQ1 多参考训练是否真正提升 CGEC 模型性能，还是反而引入混淆？
• RQ2 每条句子使用单一最优参考句进行训练，是否能提升模型专注度与性能？
• RQ3 每条源句的参考句数量如何影响 CGEC 模型的精确率与召回率？
• RQ4 使用多参考数据时，是否存在精确率与召回率之间的权衡？
• RQ5 更简单、更聚焦的训练策略是否能超越更大、更复杂的多参考数据集？

主要发现

• 使用 OneTarget 训练的模型在 F0.5 指标上优于多参考基线模型，即使训练样本减少 40%-50%。
• 1 参考句训练设置在 MuCGEC-dev 上取得最高 F0.5 分数（31.45），优于 2 参考句（31.11）与 3 参考句（30.92）设置。
• OneTarget 显著提升了精确率，同时召回率未出现大幅下降，这对语法纠正任务至关重要。
• 该方法在 CCL2022-CLTC 竞赛的 MuCGEC-test 上获得第一名，证实其在真实场景中的有效性。
• 使用 OneTarget 训练的模型在效率与准确率方面均优于完整数据集基线模型，尤其在注重精确率的场景中表现更优。
• 本研究揭示，若训练样本因多个参考句引入模糊性，更多样本并不保证性能提升。