[论文解读] Scarecrow: A Framework for Scrutinizing Machine Text.

Yao Dou, Maxwell Forbes+3 more|arXiv (Cornell University)|Jul 2, 2021

Topic Modeling参考文献 34被引用 15

一句话总结

Scarecrow 是一种用于识别神经文本生成中语义、叙事和话语错误的众包结构化错误标注模式。它支持对 1.3 千个由人类和机器生成的新闻段落中的 1.3 万条标注进行详细分析，揭示了基于参数、训练数据和解码技术的 GPT 模型在性能上的差异，相关数据集和工具包已公开发布。

ABSTRACT

Modern neural text generation systems can produce remarkably fluent and grammatical texts. While earlier language models suffered from repetition and syntactic errors, the errors made by contemporary models are often semantic, narrative, or discourse failures. To facilitate research of these complex error types, we introduce a new structured, crowdsourced error annotation schema called Scarecrow. The error categories used in Scarecrow -- such as redundancy, commonsense errors, and incoherence -- were identified by combining expert analysis with several pilot rounds of ontology-free crowd annotation to arrive at a schema which covers the error phenomena found in real machine generated text. We use Scarecrow to collect 13k annotations of 1.3k human and machine generate paragraphs of English language news text, amounting to over 41k spans each labeled with its error category, severity, a natural language explanation, and antecedent span (where relevant). We collect annotations for text generated by state-of-the-art systems with varying known performance levels, from GPT-2 Small through the largest GPT-3. We isolate several factors for detailed analysis, including parameter count, training data, and decoding technique. Our results show both expected and surprising differences across these settings. These findings demonstrate the value of Scarecrow annotations in the assessment of current and future text generation systems. We release our complete annotation toolkit and dataset at this https URL.

研究动机与目标

• 开发一种结构化、众包的错误标注模式，用于识别机器生成文本中的复杂语义和话语错误。
• 应对现代神经文本生成系统中从句法错误向语义层面错误的转变。
• 收集并分析涵盖多种文本生成模型（包括 GPT-2 Small 和 GPT-3）的 1.3 万条错误标注。
• 分离并评估模型参数、训练数据和解码策略对错误模式的影响。
• 发布全面的标注工具包和数据集，以支持未来文本生成评估研究。

提出的方法

• 通过专家分析和无本体论的众包试点轮次迭代，开发 Scarecrow，以识别相关错误类别。
• 基于真实世界生成的机器文本，定义了冗余、常识违背和不连贯等错误类别。
• 在 1.3 千段英语新闻文本（包含人类和机器生成的内容）中收集了 1.3 万条标注。
• 每条标注包含错误类别、严重程度、自然语言解释，以及适用的先行词跨度。
• 将该标注模式应用于从 GPT-2 Small 到最大规模 GPT-3 的最先进模型生成的文本。
• 基于参数数量、训练数据和解码技术，对不同模型变体进行对比分析。

实验结果

研究问题

• RQ1 不同神经文本生成模型在语义和话语错误方面有何差异？
• RQ2 模型参数、训练数据和解码策略对错误频率和类型有何影响？
• RQ3 Scarecrow 标注模式在捕捉机器生成文本中细微错误现象方面的有效性如何？
• RQ4 人类写作和模型生成段落之间的错误模式是否存在系统性差异？
• RQ5 更大的模型在语义和话语错误方面是否表现出更少的错误或不同类型的错误？

主要发现

• Scarecrow 成功捕捉了机器生成文本中广泛的语义和话语错误，包括冗余、常识违背和不连贯等。
• 如 GPT-3 这类大模型相比 GPT-2 Small 等小模型表现出更低的整体错误率，但错误类型存在显著差异。
• 解码技术显著影响错误模式，温度和 top-p 采样会影响连贯性和事实一致性。
• 训练数据构成在塑造错误特征方面具有可测量的作用，尤其在常识和叙事连贯性方面。
• 标注过程揭示了预期趋势和出人意料的变异，例如在高性能模型中出现的意外错误聚集。
• 发布的数据集和工具包为未来文本生成系统的基准测试和改进提供了坚实基础。