[论文解读] A Syntax-Guided Grammatical Error Correction Model with Dependency Tree Correction

Zhaohong Wan, Xiaojun Wan|arXiv (Cornell University)|Nov 5, 2021

Natural Language Processing Techniques参考文献 42被引用 5

一句话总结

该论文提出SG-GEC，一种语法引导的语法错误修正模型，利用图注意力机制从依存树中提取句法知识，同时引入依存树修正任务以缓解错误源句中不正确依存树带来的误差。该模型在不依赖大规模预训练模型的前提下，在公开的GEC基准测试中取得了最先进性能。

ABSTRACT

Grammatical Error Correction (GEC) is a task of detecting and correcting grammatical errors in sentences. Recently, neural machine translation systems have become popular approaches for this task. However, these methods lack the use of syntactic knowledge which plays an important role in the correction of grammatical errors. In this work, we propose a syntax-guided GEC model (SG-GEC) which adopts the graph attention mechanism to utilize the syntactic knowledge of dependency trees. Considering the dependency trees of the grammatically incorrect source sentences might provide incorrect syntactic knowledge, we propose a dependency tree correction task to deal with it. Combining with data augmentation method, our model achieves strong performances without using any large pre-trained models. We evaluate our model on public benchmarks of GEC task and it achieves competitive results.

研究动机与目标

• 将依存树中的句法知识整合到神经语法错误修正模型中。
• 解决因错误源句的依存树不正确而误导句法建模的问题。
• 开发一种专门的依存树修正任务，通过关系预测重建修正后句子的句法正确依存树。
• 通过数据增强和架构设计提升GEC性能，而不依赖大规模预训练模型。
• 仅使用序列和句法监督，实现标准GEC基准测试中的竞争力表现。

提出的方法

• 该模型采用图注意力机制编码依存树中的句法依赖关系，捕捉长距离句法关联。
• 提出一种新颖的依存树修正任务，模型不再重建完整依存树，而是预测修正后句子中词语之间的依存关系。
• 模型采用多任务学习目标：标准GEC损失与依存树修正损失联合优化，实现纠错与句法结构学习的联合训练。
• 通过数据增强提升训练数据多样性，改善泛化能力，尤其对罕见错误类型效果显著。
• 语法引导的编码器通过依存结构上的注意力机制，将句法信息融入序列表征。
• 模型架构结合基于Transformer的编码器-解码器框架与一个处理依存树的语法感知模块，该模块使用图注意力机制进行处理。

实验结果

研究问题

• RQ1 能否利用依存树中的句法知识提升神经语法错误修正模型的性能？
• RQ2 如何缓解源句依存树中的句法错误，以避免传播错误的结构信息？
• RQ3 是否通过专注于预测修正后句子中关系的专用依存树修正任务，能够提升整体GEC性能？
• RQ4 在不依赖大规模预训练模型的前提下，数据增强与多任务学习能在多大程度上提升模型性能？
• RQ5 依存树修正任务的各个组成部分（如关系、距离、祖先-后代关系预测）对最终纠错准确率的贡献如何？

主要发现

• 完整版SG-GEC模型在CoNLL-2014、FCE和BEA-2019基准测试中，于不使用大规模预训练模型的模型中取得了最佳F值。
• 消融实验表明，语法引导编码器与依存树修正任务均显著提升模型性能，后者尤其提升了精确率与召回率。
• 若移除依存关系预测子任务，F值下降最大（1.0），表明其在句法建模中具有关键作用。
• 同时采用语法引导编码器与依存树修正任务的模型达到最高F值，证明两者具有互补优势。
• 案例研究证实，该模型能正确识别并修正主谓一致与动词时态错误，充分借助句法依赖关系。
• 该模型优于强基线模型（包括Copy-Transformer），即使与使用大规模预训练模型的模型相比，也表现出具有竞争力的性能。