[论文解读] Encode, Tag, Realize: High-Precision Text Editing

Eric Malmi, Sebastian Krause+3 more|arXiv (Cornell University)|Sep 3, 2019

Natural Language Processing Techniques参考文献 33被引用 4

一句话总结

LaserTagger 是一种高精度的文本编辑模型，通过将文本生成任务重新定义为使用三种编辑操作（保留、删除、插入）的序列标注任务。结合 BERT 编码器与自回归 Transformer 解码器，它在句子融合、拆分、摘要生成和语法纠正等任务上实现了最先进（SOTA）的性能表现，尤其在低数据设置下表现优异，同时推理速度比同类序列到序列（seq2seq）模型快逾 100 倍。

ABSTRACT

We propose LaserTagger - a sequence tagging approach that casts text generation as a text editing task. Target texts are reconstructed from the inputs using three main edit operations: keeping a token, deleting it, and adding a phrase before the token. To predict the edit operations, we propose a novel model, which combines a BERT encoder with an autoregressive Transformer decoder. This approach is evaluated on English text on four tasks: sentence fusion, sentence splitting, abstractive summarization, and grammar correction. LaserTagger achieves new state-of-the-art results on three of these tasks, performs comparably to a set of strong seq2seq baselines with a large number of training examples, and outperforms them when the number of examples is limited. Furthermore, we show that at inference time tagging can be more than two orders of magnitude faster than comparable seq2seq models, making it more attractive for running in a live environment.

研究动机与目标

• 解决标准 seq2seq 模型在具有高输入输出重叠的文本生成任务中效率低下且数据需求量大的问题。
• 通过将文本生成建模为一系列编辑操作（而非自回归生成）来降低模型复杂度和词汇表大小。
• 在保持或超越句子融合、拆分、摘要生成和语法纠正等任务性能的同时，提升数据效率并加快推理速度。
• 通过将输出限制在少量编辑标签集合内，增强模型可解释性，并减少自回归 seq2seq 模型常见的幻觉和重复错误。

提出的方法

• 将文本生成建模为使用三种编辑操作（保留、删除、在标记前插入短语）的序列标注问题。
• 使用 BERT 编码器生成输入序列的上下文表示。
• 应用自回归 Transformer 解码器（LaserTagger AR）对每个输入标记预测编辑标签，实现上下文感知的标注。
• 采用两阶段流程：(1) 使用 BERT 编码输入，(2) 为每个标记分配来自学习得到的、与任务相关的标签词汇表的编辑操作，(3) 通过确定性规则应用编辑操作以生成输出。
• 从训练数据中生成标签词汇表，方法为提取频繁插入的短语及常见编辑模式。
• 端到端训练模型，使用标签序列上的交叉熵损失，实现高效且可控的推理。

实验结果

研究问题

• RQ1 是否可以将具有高输入输出重叠的文本生成任务有效建模为仅使用最少编辑操作的序列标注？
• RQ2 在低数据设置下，基于标签的方法是否能优于标准 seq2seq 模型，同时保持高精度？
• RQ3 编辑标签的受限输出空间在多大程度上减少了 seq2seq 模型中常见的幻觉和重复问题？
• RQ4 在生产环境中，该标注模型的推理速度与自回归 seq2seq 基线相比如何？
• RQ5 基于 BERT 的标签器搭配轻量级解码器是否能实现显著降低推理延迟的同时保持具有竞争力的性能？

主要发现

• LaserTagger AR 在四项评估任务中的三项——句子融合、句子拆分和语法纠正——上达到最先进性能，摘要生成任务上表现相当。
• 在低数据设置（如 10k 个样本）下，LaserTagger 超越了强大的 seq2seq 基线模型，展现出更优的数据效率。
• LaserTagger FF 的推理速度比同类 seq2seq BERT 模型快 100 倍以上，批量大小为 1 时耗时 13ms 对比 1,773ms。
• 在批量大小为 8 时，LaserTagger AR 的推理速度比 12 层 seq2seq BERT 基线快 10 倍，且准确率相当或更优。
• 由于输出空间受限，该模型显著减少了幻觉、虚构词汇和重复短语等常见 seq2seq 模型错误。
• 定性分析表明，LaserTagger 避免了突兀的句子结尾和误导性改写，而 seq2seq 模型在指代消解和过早句子截断方面常出现失败。