[论文解读] Correct Like Humans: Progressive Learning Framework for Chinese Text Error Correction

Yinghui Li, Shirong Ma+6 more|arXiv (Cornell University)|Jun 30, 2023

Natural Language Processing Techniques被引用 4

一句话总结

该论文提出 ProTEC，一种面向中文文本纠错（CTEC）的模型无关渐进式多任务学习框架，将任务分解为三个子任务——错误检测、错误类型识别和纠错结果生成，并按顺序逐步训练，以减少过度纠错。该框架在仅增加 5–10% 训练与推理时间的前提下，显著提升了多种模型的纠错性能。

ABSTRACT

Chinese Text Error Correction (CTEC) aims to detect and correct errors in the input text, which benefits human daily life and various downstream tasks. Recent approaches mainly employ Pre-trained Language Models (PLMs) to resolve CTEC. Although PLMs have achieved remarkable success in CTEC, we argue that previous studies still overlook the importance of human thinking patterns. To enhance the development of PLMs for CTEC, inspired by humans' daily error-correcting behavior, we propose a novel model-agnostic progressive learning framework, named ProTEC, which guides PLMs-based CTEC models to learn to correct like humans. During the training process, ProTEC guides the model to learn text error correction by incorporating these sub-tasks into a progressive paradigm. During the inference process, the model completes these sub-tasks in turn to generate the correction results. Extensive experiments and detailed analyses demonstrate the effectiveness and efficiency of our proposed model-agnostic ProTEC framework.

研究动机与目标

• 解决中文文本纠错（CTEC）中长期存在的过度纠错问题，尤其在对精度要求高的应用场景中至关重要。
• 通过将 CTEC 任务结构化为一系列逐步复杂的子任务层级，减轻错误传播并提升模型泛化能力。
• 开发一种模型无关的框架，无需修改模型架构即可提升多种 CTEC 模型的性能。
• 证明从简单到复杂的子任务学习顺序可同时提升纠错的准确率与鲁棒性。
• 通过在公开基准上的消融实验与超参数分析，验证渐进式学习的有效性。

提出的方法

• 将 CTEC 任务按难度递增顺序分解为三个子任务：错误检测（识别错误标记）、错误类型识别（分类错误类型）和纠错结果生成（生成最终修正后的句子）。
• 在训练过程中将这些子任务整合到多任务学习目标中，每个子任务均使用真实标签进行监督。
• 在推理阶段，将早期子任务的输出（如检测到的错误及其类型）作为后续子任务的条件输入，以约束纠错空间。
• 为错误检测和错误类型识别子任务引入可学习损失权重（λ 和 μ），并通过调优以平衡各子任务在训练中的贡献。
• 通过允许该框架无缝集成到任意现有 CTEC 模型（如 MacBERT 或 BART）中，确保模型无关性，无需修改模型架构。
• 在推理阶段，按顺序执行子任务：首先检测错误，然后分类其类型，最后仅对错误标记生成修正，从而降低过度纠错的风险。

实验结果

研究问题

• RQ1 将 CTEC 分解为难度逐步增加的子任务，是否能提升纠错性能并减少过度纠错？
• RQ2 引入中间子任务（错误检测与错误类型识别）对最终纠错准确率有何影响？
• RQ3 在纠错生成阶段使用前序子任务的真实标签，在多大程度上提升了性能？
• RQ4 该框架性能对控制子任务损失权重的超参数有多敏感？
• RQ5 所提出的框架是否可在无需架构修改的前提下有效应用于多种 CTEC 模型？

主要发现

• 当应用于 MacBERT 时，ProTEC 在 SIGHAN14 数据集上的 F1 分数提升了 2.5 个百分点（从 64.7 提升至 67.2），显示出显著的性能提升。
• 在 NLPCC 数据集上，ProTEC 将 F0.5 分数从 BART-Chinese 的 39.39 提升至 42.49，表明在不同模型架构下均具有一致的改进效果。
• 消融实验表明，若移除错误检测或错误类型识别子任务，性能均出现下降，验证了其在减少错误传播中的关键作用。
• 当同时提供错误检测与错误类型识别的真实标签时，纠错模型的 F1 达到 92.6，表明该框架能有效利用中间监督信号。
• 超参数分析显示，设置损失权重 λ = μ = 1.0 时性能最优，且模型性能对这些权重的小幅波动相对不敏感。
• 与基线相比，该框架仅使训练与推理时间增加 5–10%，证实了其高效性与在实际部署中的可行性。