[论文解读] AutoTemplate: A Simple Recipe for Lexically Constrained Text Generation

Hayate Iso|arXiv (Cornell University)|Nov 15, 2022

Topic Modeling被引用 5

一句话总结

AutoTemplate 是一种简单、两阶段的词汇约束文本生成框架，将模板生成与词汇化过程分离。通过训练标准自回归模型来预测包含约束词汇库占位符的掩码模板，并在推理阶段将占位符替换为实际约束，AutoTemplate 在关键词到句子生成和实体引导摘要等任务中，实现了优于竞争基线的性能，同时保证了硬性约束的完全满足。

ABSTRACT

Lexically constrained text generation is one of the constrained text generation tasks, which aims to generate text that covers all the given constraint lexicons. While the existing approaches tackle this problem using a lexically constrained beam search algorithm or dedicated model using non-autoregressive decoding, there is a trade-off between the generated text quality and the hard constraint satisfaction. We introduce AutoTemplate, a simple yet effective lexically constrained text generation framework divided into template generation and lexicalization tasks. The template generation is to generate the text with the placeholders, and lexicalization replaces them into the constraint lexicons to perform lexically constrained text generation. We conducted the experiments on two tasks: keywords-to-sentence generations and entity-guided summarization. Experimental results show that the AutoTemplate outperforms the competitive baselines on both tasks while satisfying the hard lexical constraints. The code is available at https://github.com/megagonlabs/autotemplate

研究动机与目标

• 解决在保持高流畅性和连贯性的同时，严格包含所有必需约束词汇库的文本生成挑战。
• 克服现有词汇约束生成方法中约束满足与文本质量之间的权衡。
• 提出一种简单、模块化的框架，利用标准序列到序列模型将模板生成与词汇化解耦。
• 证明当与基于模板的后处理策略结合时，标准自回归模型可在约束生成任务中实现强大性能。
• 在多样化任务中验证该框架的有效性，包括关键词到句子生成和实体引导摘要。

提出的方法

• 输入通过将约束词汇库与特殊掩码标记（例如 <X>、<Y>）连接，形成掩码输入表示。
• 输出为一个掩码模板，其中约束词汇库被替换为唯一的占位符标记，使模型能够学习通用结构。
• 使用标准自回归编码器-解码器模型，根据带有约束占位符的输入来预测掩码模板。
• 在推理阶段，模型生成包含占位符的模板，随后在后处理步骤中将占位符替换为实际的约束词汇库。
• 每个约束使用唯一的占位符标记，以保留歧义消除并提升生成质量。
• 该框架利用预训练模型和束搜索进行推理，确保输出质量的同时保持约束保真度。

实验结果

研究问题

• RQ1 一个简单、两阶段的框架（结合模板生成与词汇化）是否能在质量和约束满足度方面优于现有的约束文本生成方法？
• RQ2 使用标准自回归模型并配合掩码输入和输出，是否相比非自回归或约束束搜索方法能带来更高的流畅性？
• RQ3 预训练对 AutoTemplate 框架在约束生成任务中性能的重要性如何？
• RQ4 在模板生成过程中，使用唯一占位符与共享占位符标记的影响是什么？
• RQ5 AutoTemplate 是否能在多样化任务（如关键词到句子生成和实体引导摘要）中有效泛化？

主要发现

• AutoTemplate 在关键词到句子生成和实体引导摘要任务中，均优于竞争基线，包括自回归和非自回归模型。
• 与非自回归 CBART 基线相比，该模型实现了更高的流畅性得分，证明了使用自回归模型进行文本生成的优势。
• 在摘要任务中，AutoTemplate 生成的文本流畅性与 SOTA 自回归模型（如 BART 和 CTRLSum）相当。
• 消融研究证实，预训练显著提升了生成质量，随机初始化的设置结果明显更差。
• 为每个约束使用唯一占位符标记相比使用单一共享占位符标记，性能显著提升，凸显了歧义消除的重要性。
• 该框架在所有评估案例中均成功满足了所有硬性词汇约束，即使在涉及十余个实体的复杂输入下也表现良好。