[论文解读] Stronger Baselines for Grammatical Error Correction Using Pretrained Encoder-Decoder Model

Satoru Katsumata, Mamoru Komachi|arXiv (Cornell University)|May 24, 2020

Natural Language Processing Techniques参考文献 16被引用 5

一句话总结

本文提出将预训练的 BART 编码器-解码器模型用作语法错误修正（GEC）的强而通用的基线模型，无需在大规模伪数据上进行耗时的任务特定预训练。该方法在英语 GEC 中实现了与最先进模型相当的性能，并且仅通过微调就在多种语言上表现出色，证明了 BART 作为 GEC 简单而高性能基线的有效性。

ABSTRACT

Studies on grammatical error correction (GEC) have reported the effectiveness of pretraining a Seq2Seq model with a large amount of pseudodata. However, this approach requires time-consuming pretraining for GEC because of the size of the pseudodata. In this study, we explore the utility of bidirectional and auto-regressive transformers (BART) as a generic pretrained encoder-decoder model for GEC. With the use of this generic pretrained model for GEC, the time-consuming pretraining can be eliminated. We find that monolingual and multilingual BART models achieve high performance in GEC, with one of the results being comparable to the current strong results in English GEC. Our implementations are publicly available at GitHub (https://github.com/Katsumata420/generic-pretrained-GEC).

研究动机与目标

• 探究通用预训练编码器-解码器模型是否可在无需在大规模伪语料上进行任务特定预训练的情况下，作为语法错误修正（GEC）的强基线模型。
• 评估单语和多语 BART 模型在英语、德语、捷克语和俄语 GEC 任务上的表现。
• 比较通用预训练模型（如 BART）与依赖大量伪数据生成和任务导向预训练的现有最先进模型的有效性。
• 评估 BART 的预训练目标——掩码和重排序列——是否足以应对 GEC 中多样的错误类型，特别是涉及词序和标点符号的错误。

提出的方法

• 在英语、德语、捷克语和俄语的 GEC 标准数据集上微调单语和多语 BART 模型，且不进行任何伪数据上的额外预训练。
• 利用 BART 模型的预训练目标——掩码并重排词元片段，然后预测原始序列——作为归纳偏置，使其在 GEC 任务上具有良好泛化能力。
• 在现有 GEC 数据集中的平行单语句子（原始句与修正句）上应用标准的序列到序列训练，损失函数为交叉熵损失。
• 使用标准指标评估性能：在 BEA-19 和 WMT 数据集上的精确率（P）、召回率（R）和 F0.5 分数。
• 与依赖大量伪数据生成和任务特定预训练的强基线模型（如 Náplava 和 Straka, 2019；Kaneko 等, 2020）进行比较。
• 开展消融研究，包括使用多个随机种子的集成建模，以评估基于 BART 的 GEC 性能的稳定性和鲁棒性。

实验结果

研究问题

• RQ1 像 BART 这样的通用预训练编码器-解码器模型是否可在无需在大规模伪语料上进行任务特定预训练的情况下，实现与 SOTA 模型相当的 GEC 表现？
• RQ2 在多种语言的低资源和高资源 GEC 设置下，单语 BART 与多语 BART 的表现有何差异？
• RQ3 与使用任务特定伪数据预训练的模型（如 Kaneko 等, 2020）相比，BART 在哪些错误类型上表现更优或更差？
• RQ4 BART 的预训练目标——掩码和重排序列——是否为语法错误修正提供了足够的归纳偏置，特别是针对涉及词序、标点符号和词形变化的错误？
• RQ5 BART 是否可作为未来 GEC 研究中可靠且简单的基线模型，从而减少对复杂伪数据生成流水线的依赖？

主要发现

• 单语 BART 模型在英语 GEC 的 BEA-19 测试集上取得了 74.1 的 F0.5 分数，与当前强基线结果相当，证明了其作为强基线的有效性。
• 多语 BART（mBART）模型在德语 GEC 上的 F0.5 分数比 SOTA 模型低 4.45 分，但仍表现出色，且仅通过微调即可实现。
• 在捷克语 GEC 中，基于 mBART 的模型比 SOTA 模型低 6.65 分，表明多语预训练在低资源设置下可能引入噪声。
• 在俄语 GEC 中，mBART 模型表现显著逊于 SOTA 模型，可能由于训练数据有限，但当在 1000 万条伪语料上进行微调后性能有所提升，支持了数据稀缺的假设。
• 基于 BART 的模型在 PUNCT 错误上比 Kaneko 等（2020）高出 5.6 F0.5 分，表明 BART 的预训练目标有助于标点符号修正。
• Kaneko 等（2020）在 ORTH 和 SPELL 错误上比基于 BART 的模型高出 5 余 F0.5 分，表明在伪数据预训练中采用字符级错误建模对这类错误更有效，优于 BART 的片段掩码目标。