[论文解读] InsNet: An Efficient, Flexible, and Performant Insertion-based Text Generation Model

Sidi Lu, Tao Meng+1 more|arXiv (Cornell University)|Feb 12, 2021

Topic Modeling被引用 4

一句话总结

InsNet 是一种新型的基于插入的文本生成模型，通过引入面向插入的相对位置编码（偏移量）和轻量级槽表示策略，实现了高效、灵活且高性能的序列生成，将训练过程中的上下文重新编码减少为单次遍历。它在词汇约束文本生成和机器翻译任务中均实现了最先进的训练速度、推理效率和生成质量，其新型解码算法（InsNet-Dinic）支持可控的并行化处理。

ABSTRACT

We propose InsNet, an expressive insertion-based text generator with efficient training and flexible decoding (parallel or sequential). Unlike most existing insertion-based text generation works that require re-encoding of the context after each insertion operation and thus are inefficient to train, InsNet only requires one pass of context encoding for the entire sequence during training by introducing a novel insertion-oriented position encoding and a light-weighted slot representation strategy to enable computation sharing. Furthermore, we propose an algorithm InsNet-Dinic to better determine the parallelization of insertion operations that provides a controllable switch between parallel and sequential decoding, making it flexible to handle more parallelizable tasks such as machine translation with efficient decoding, or less parallelizable tasks such as open-domain text generation to guarantee high-quality outputs. Experiments on two lexically constrained text generation datasets and three machine translation datasets demonstrate InsNet's advantages over previous insertion-based methods in terms of training speed, inference efficiency, and generation quality.

研究动机与目标

• 解决基于插入的文本生成模型在每次插入后需重复上下文重新编码所带来的高训练成本问题。
• 在统一框架中同时支持并行和串行解码，以适应从结构化翻译到开放式生成的多样化生成任务。
• 设计一种相对位置编码方案，在保持模型表达能力的同时，实现插入步骤之间的计算共享。
• 开发一种算法（InsNet-Dinic），通过优化插入并行化策略，最小化似然差异并提升解码质量。
• 在训练效率、推理速度和生成质量方面，相比先前的基于插入的模型展现出显著优越性能。

提出的方法

• 提出一种面向插入的相对位置编码，称为“偏移量”（offset），用于编码标记之间的成对空间关系，实现固定位置编码，从而在训练过程中无需重新编码。
• 提出“偏移量压缩”技术，可高效计算任意插入顺序下的偏移量矩阵，实现无需重新计算上下文表示的动态且可扩展的位置编码。
• 设计一种全局槽表示聚合机制，实现在序列所有插入位置上并行计算具有表现力的槽表示。
• 引入 InsNet-Dinic 解码算法，其灵感源自 Dinic 算法，基于插入依赖图确定最优的插入并行化层级。
• 通过保持静态位置编码并仅使用偏移量机制更新新标记的位置，实现在训练过程中单次遍历上下文编码。
• 集成知识蒸馏和混合精度训练，进一步提升推理效率和模型性能。

实验结果

研究问题

• RQ1 基于插入的文本生成模型是否能在不损失模型容量或位置表达能力的前提下，实现训练过程中的单次上下文编码？
• RQ2 如何使基于插入的模型在保持高生成质量的前提下，同时支持并行和串行解码，并适用于多样化任务？
• RQ3 相对位置编码对基于插入生成模型的性能和训练效率有何影响？
• RQ4 可控的并行化策略是否能减少似然差异并提升基于插入模型的解码质量？
• RQ5 与现有基于插入的模型相比，所提出的架构在训练速度、推理效率和生成质量方面表现如何？

主要发现

• InsNet 通过基于偏移量的相对位置编码，将训练过程中的重新编码减少为单次遍历（O(1)），相比先前需 O(n) 次重新编码的模型，显著提升了训练效率。
• InsNet-Dinic 实现了并行与串行解码之间的可控权衡，在平均每个解码步骤中实现约 15.8 次插入，显著提升了推理速度，同时保持了高质量的生成结果。
• 在 Yelp 和 Cornell 词汇约束文本生成数据集上，InsNet 在使用知识蒸馏（KD）的情况下分别取得了 43.71 和 44.10 的 BLEU 分数，优于包括 Levenshtein Transformer 和 Insertion Transformer 在内的先前方法。
• InsNet 在单张 RTX 3090 GPU 上每轮训练仅需 1 小时 12 分钟，远快于基线模型（Levenshtein Transformer 为 16 小时 33 分钟，Insertion Transformer 为 8 小时 24 分钟）。
• 消融实验表明，偏移量矩阵和全局表示至关重要：若移除全局表示，模型收敛更差且终止负对数似然（NLL）更高；若将偏移量截断至 [-1,1] 范围，则会降低模型容量和性能。
• 该模型在训练速度和生成质量方面均达到当前最先进水平，使用 KD 优化版本的推理时间仅为每序列 103ms，显著优于基线模型在速度和 BLEU 分数上的表现。