[论文解读] Chinese Grammatical Correction Using BERT-based Pre-trained Model

Hongfei Wang, Michiki Kurosawa+2 more|arXiv (Cornell University)|Nov 4, 2020

Topic Modeling参考文献 19被引用 4

一句话总结

本文提出两种基于 BERT 的方法——BERT-encoder 和 BERT-fused——用于中文语法错误修正（GEC），将中文-RoBERTa-wwm-ext 预训练模型整合到 Transformer 编码器-解码器框架中。BERT-encoder 方法在使用 4 个集成模型时取得了 35.51 的 F₀.₅ 分数，显著优于 NLPCC 2018 共享任务中的顶尖团队，但错误分析显示句子级错误仍是主要挑战。

ABSTRACT

In recent years, pre-trained models have been extensively studied, and several downstream tasks have benefited from their utilization. In this study, we verify the effectiveness of two methods that incorporate a BERT-based pre-trained model developed by Cui et al. (2020) into an encoder-decoder model on Chinese grammatical error correction tasks. We also analyze the error type and conclude that sentence-level errors are yet to be addressed.

研究动机与目标

• 通过使用基于 BERT 的预训练模型，提升中文语法错误修正（GEC）的性能。
• 探究将预训练模型以编码器初始化和特征融合两种整合策略，应用于序列到序列 GEC 模型的有效性。
• 分析中文 GEC 中的错误类型，并识别持续存在的挑战，尤其是句子级错误。
• 在 NLPCC 2018 GEC 基准上，对比 BERT 增强模型与基线模型及当前最优模型的性能。

提出的方法

• 在编码器中使用中文-RoBERTa-wwm-ext 预训练模型权重初始化基于 Transformer 的编码器-解码器模型（BERT-encoder 方法）。
• 利用预训练模型提取上下文表示，作为解码器的附加特征（BERT-fused 方法），遵循 Zhu 等人（2020）的方法。
• 在预训练过程中应用完整词掩码（WWM），以提升中文字符和词语的表征学习效果。
• 在 NLPCC 2018 GEC 数据集上训练模型，该数据集包含 100 万条训练句和来自 PKU 中文学习者语料库的 2,000 条测试句。
• 以 F₀.₅ 分数为主要评估指标，并额外分析错误类型检测与修正性能。
• 对 100 条开发集句子进行错误类型标注，将错误划分为 B（字符级）、CC/CQ/CD（词级）和 CJ（句子级）三类。

Figure 1: Two methods for incorporating a pre-trained model into the GEC model.

实验结果

研究问题

• RQ1 当将基于 BERT 的预训练模型整合到编码器-解码器框架中时，是否能提升中文语法错误修正的性能？
• RQ2 在不同错误类型下，BERT-encoder 与 BERT-fused 方法在错误修正与检测方面的表现如何比较？
• RQ3 中文 GEC 中错误类型的分布是怎样的？哪些类型最难以修正？
• RQ4 BERT-fused 模型的性能是否依赖于用于特征提取的初始模型的质量？

主要发现

• 使用 4 个集成模型的 BERT-encoder 方法取得了 35.51 的 F₀.₅ 分数，远超 NLPCC 2018 共享任务中表现最佳团队的水平。
• 单个 BERT-encoder 和 BERT-fused 模型的 F₀.₅ 分数分别为 29.76 和 29.94，优于基线模型，并接近顶尖团队的性能。
• 句子级错误（CJ）最具挑战性，两种模型在该错误类型上的表现显著低于词级和字符级错误。
• BERT-encoder 模型在字符级错误（B）上表现最佳，而 BERT-fused 模型在词级错误（CC、CQ、CD）上表现更强。
• BERT-fused 模型的性能对初始模型质量高度敏感；当从弱基线模型微调时性能下降，表明其受益于高质量的预热模型。
• 与顶尖团队相比，这些模型的召回率更高而精确率更低，表明其在错误检测方面更有效，但在选择正确修正方面精确度不足。