[论文解读] Does Correction Remain A Problem For Large Language Models?

Xiaowu Zhang, Xiaotian Zhang+3 more|arXiv (Cornell University)|Aug 3, 2023

Topic Modeling被引用 4

一句话总结

本文研究了像 GPT-3.5-Turbo 这类大型语言模型（LLMs）是否能有效执行文本校正并容忍噪声输入。通过在中文拼写校正（CSC）、中文文本校正（CTC）和英文语法校正（GEC）数据集上进行少样本提示（包括新整理的 1,000 个样本的 CSC 数据集），研究发现 LLM 在校正错误并优化句子表达方面表现出高准确率，但偶尔会因改变语义或结构而出现过度校正。LLMs 对拼写错误（高达 5%）表现出较强的容忍度，但当引入如词语插入或删除等结构变化时，性能显著下降。

ABSTRACT

As large language models, such as GPT, continue to advance the capabilities of natural language processing (NLP), the question arises: does the problem of correction still persist? This paper investigates the role of correction in the context of large language models by conducting two experiments. The first experiment focuses on correction as a standalone task, employing few-shot learning techniques with GPT-like models for error correction. The second experiment explores the notion of correction as a preparatory task for other NLP tasks, examining whether large language models can tolerate and perform adequately on texts containing certain levels of noise or errors. By addressing these experiments, we aim to shed light on the significance of correction in the era of large language models and its implications for various NLP applications.

研究动机与目标

• 评估大型语言模型（LLMs）是否可作为中文拼写校正（CSC）、中文文本校正（CTC）和英文语法校正（GEC）等任务的有效文本校正模型。
• 评估 LLM 在处理包含不同水平噪声（如拼写错误和结构变化）的数据集时的鲁棒性。
• 探究 LLM 在校正任务中是否出现过度校正或校正不足，即是否通过修改句子结构或语义来影响结果。
• 通过人工整理一个高质量的 1,000 个样本的中文拼写校正数据集，提升文本校正评估的可靠性，以解决现有数据质量问题。

提出的方法

• 使用 GPT-3.5-Turbo 进行少样本学习实验，执行文本校正任务（包括 CSC、CTC 和 GEC），并采用基于提示的指令方式。
• 创建了一个新的人工整理的 1,000 个中文拼写校正样本数据集，以缓解现有基准中存在数据质量问题。
• 通过人工评估和利用 GPT-3.5-Turbo 自我评估相结合的方式，确保结果的可靠性和一致性。
• 在基准数据集（如 AGIEval、Gaokao Bench、情感分类、机器翻译）中引入受控噪声（如拼写错误、词语插入和删除），以测试 LLM 的鲁棒性。
• 分析校正输出中的过度校正和校正不足现象，特别关注语义漂移、结构优化以及对问题类输入生成不恰当答案的情况。
• 将模型输出与标准参考句进行对比，量化准确率、语法正确性以及语义保留程度。

实验结果

研究问题

• RQ1 大型语言模型（如 GPT-3.5-Turbo）是否能在多种语言和错误类型（包括拼写、语法和表达错误）下有效执行文本校正？
• RQ2 LLM 在校正任务中因改变句子语义或结构而导致的过度校正或校正不足程度如何？
• RQ3 LLM 对噪声输入数据的容忍度如何，特别是在拼写错误与词语插入或删除等结构修改之间有何差异？
• RQ4 训练数据质量是否显著影响基于 LLM 的文本校正系统中错误校正的发生率？
• RQ5 当输入中包含一定比例的错误文本时，LLM 是否仍能在下游 NLP 任务中保持高性能？

主要发现

• GPT-3.5-Turbo 在文本校正任务中表现强劲，生成的输出语法正确且语义准确，尤其在中文拼写校正（CSC）任务中，经过数据质量提升后，错误校正极少。
• 该模型经常对句子表达和结构进行优化，导致在 CTC 和 GEC 等复杂任务中出现过度校正，例如将不常见的表达替换为更标准的等价表达，有时会改变原意。
• 在涉及语义重复（如 '比较更' → '更'）或同音/音近错误的情况下，过度校正现象尤为明显，模型更倾向于使用常见表达而非精确表达。
• 当在输入数据中引入 5% 的拼写错误时，LLM 性能仅轻微下降，表明其对低水平噪声具有较强的容忍能力。
• 当噪声涉及结构变化（如词语插入或删除）时，性能显著下降，这会破坏句子的连贯性和语义。
• 在 40% 的问题类输入中，GPT-3.5-Turbo 选择回答问题而非进行校正，表明其倾向于优先生成回答，而非严格保持校正的准确性。