[论文解读] Controlled Generation with Prompt Insertion for Natural Language Explanations in Grammatical Error Correction

Masahiro Kaneko, Naoaki Okazaki|arXiv (Cornell University)|Sep 20, 2023

Natural Language Processing TechniquesComputer Science被引用 3

一句话总结

本文提出一种基于提示插入（Prompt Insertion, PI）的可控生成方法，用于引导大型语言模型（LLMs）生成语法错误修正任务中全面且自然语言风格的解释。通过在推理过程中将错误-修正对作为动态提示插入，PI 确保所有修正均被明确处理，相较于标准提示方法，在新构建的 XGEC 数据集上以及 GPT-3.5 和 ChatGPT 模型上均显著提升了解释的覆盖度与质量。

ABSTRACT

In Grammatical Error Correction (GEC), it is crucial to ensure the user's comprehension of a reason for correction. Existing studies present tokens, examples, and hints as to the basis for correction but do not directly explain the reasons for corrections. Although methods that use Large Language Models (LLMs) to provide direct explanations in natural language have been proposed for various tasks, no such method exists for GEC. Generating explanations for GEC corrections involves aligning input and output tokens, identifying correction points, and presenting corresponding explanations consistently. However, it is not straightforward to specify a complex format to generate explanations, because explicit control of generation is difficult with prompts. This study introduces a method called controlled generation with Prompt Insertion (PI) so that LLMs can explain the reasons for corrections in natural language. In PI, LLMs first correct the input text, and then we automatically extract the correction points based on the rules. The extracted correction points are sequentially inserted into the LLM's explanation output as prompts, guiding the LLMs to generate explanations for the correction points. We also create an Explainable GEC (XGEC) dataset of correction reasons by annotating NUCLE, CoNLL2013, and CoNLL2014. Although generations from GPT-3 and ChatGPT using original prompts miss some correction points, the generation control using PI can explicitly guide to describe explanations for all correction points, contributing to improved performance in generating correction reasons.

研究动机与目标

• 解决现有 GEC 系统中语法错误修正缺乏直接且自然语言解释的问题。
• 通过显式控制需解释的修正内容，提升 LLM 生成解释的可理解性与可靠性。
• 构建一个新数据集 XGEC，用于可解释 GEC 系统的训练与评估，包含人工标注的修正原因。
• 探究 LLM 生成的解释是否能在提升下游 GEC 性能方面达到人类水平的质量。

提出的方法

• 首先，LLM 对输入文本执行标准的语法错误修正。
• 然后，使用基于规则的方法计算输入与修正输出之间的词粒度对齐，以提取错误-修正对。
• 在解释生成阶段，将提取到的修正对作为结构化提示插入，以引导 LLM。
• LLM 被提示为每个插入的修正对生成自然语言解释，确保所有编辑点均被覆盖。
• 该方法支持后修正与前修正两种解释生成方式，消融实验表明后修正方式更有效。
• 通过在 NUCLE、CoNLL2013 和 CoNLL2014 数据集上人工标注修正原因，构建了新的可解释 GEC（XGEC）数据集。

Figure 1: How to generate an explanation of the proposed method PI.

实验结果

研究问题

• RQ1 LLM 在无显式控制的情况下，能否生成全面且自然语言风格的语法错误修正解释？
• RQ2 插入修正对提示如何影响 LLM 生成解释的覆盖度与质量？
• RQ3 LLM 生成的解释质量是否与人工标注的解释相当，从而有效提升下游 GEC 性能？
• RQ4 相较于前修正生成，后修正生成在编辑覆盖度方面是否更具优势？

主要发现

• PI 显著提升了解释覆盖度：人工评估显示，使用 PI 的 GPT-3.5 和 ChatGPT 的覆盖度得分均为 2.0（满分），显著高于无 PI 时的得分。
• PI 提升了解释质量：使用 PI 的 GPT-3.5 和 ChatGPT 分别获得 1.8 和 1.9 的有效性得分，表明其解释具有高准确度与对语言学习者的实用性。
• 自动评估显示，PI 在 XGECa 上将 F1 分数提升最高达 12.5%，在 XGECb 上提升最高达 10.3%，相较标准提示方法。
• 使用 PI 的 LLM 生成的解释在 few-shot 学习设置下，其 GEC 性能与人工标注解释相当，且在 CoNLL2014、W&I 和 JFLEG 数据集上性能差异极小。
• 后修正解释生成在编辑覆盖度方面优于前修正生成，人工评估中覆盖度得分高出 15%。
• 该方法有效缓解了标准提示生成中常见的遗漏与模糊问题，避免模型遗漏或混淆修正点。