[论文解读] Don't Take It Literally: An Edit-Invariant Sequence Loss for Text Generation

Guangyi Liu, Zichao Yang+7 more|arXiv (Cornell University)|Jun 29, 2021

Natural Language Processing Techniques被引用 4

一句话总结

本文提出了一种新型文本生成训练目标——编辑不变序列损失（EISL），通过计算目标n-gram与生成序列中所有n-gram之间的匹配损失，使模型对参考序列中的噪声和编辑具有鲁棒性。EISL在存在噪声的目标序列的机器翻译、无监督风格迁移以及非自回归生成任务中均优于交叉熵损失和强基线模型，且可通过卷积操作高效实现，作为即插即用的替代方案。

ABSTRACT

Neural text generation models are typically trained by maximizing log-likelihood with the sequence cross entropy (CE) loss, which encourages an exact token-by-token match between a target sequence with a generated sequence. Such training objective is sub-optimal when the target sequence is not perfect, e.g., when the target sequence is corrupted with noises, or when only weak sequence supervision is available. To address the challenge, we propose a novel Edit-Invariant Sequence Loss (EISL), which computes the matching loss of a target n-gram with all n-grams in the generated sequence. EISL is designed to be robust to various noises and edits in the target sequences. Moreover, the EISL computation is essentially an approximate convolution operation with target n-grams as kernels, which is easy to implement and efficient to compute with existing libraries. To demonstrate the effectiveness of EISL, we conduct experiments on a wide range of tasks, including machine translation with noisy target sequences, unsupervised text style transfer with only weak training signals, and non-autoregressive generation with non-predefined generation order. Experimental results show our method significantly outperforms the common CE loss and other strong baselines on all the tasks. EISL has a simple API that can be used as a drop-in replacement of the CE loss: https://github.com/guangyliu/EISL.

研究动机与目标

• 解决在参考序列包含噪声或不完美时，交叉熵（CE）损失在文本生成中的局限性。
• 开发一种对常见文本编辑（如词语调换、重复和屏蔽）具有不变性的训练目标。
• 在保持端到端可微性和计算效率的同时，提升弱监督设置下的泛化能力。
• 提供一种即插即用的CE损失替代方案，可在多种文本生成任务中提升性能。

提出的方法

• EISL计算目标序列中每个n-gram与生成序列中所有n-gram之间的匹配损失。
• 损失通过可微分的卷积操作进行公式化，其中目标n-gram作为可学习卷积核作用于生成序列。
• 方法在所有n-gram位置上聚合匹配得分，使损失对重排、重复和缺失词语具有鲁棒性。
• 当n等于序列全长时，EISL退化为CE损失，确保向后兼容性。
• 实现利用现有深度学习库，通过标准卷积操作实现高效计算。
• 损失设计为可轻松集成到现有训练流程中，无需架构修改。

实验结果

研究问题

• RQ1 能否在不牺牲训练效率的前提下，使序列级损失对常见文本编辑（如词语调换、重复和屏蔽）保持不变？
• RQ2 在机器翻译任务中，当使用噪声或损坏的参考序列进行训练时，EISL相较于CE损失表现如何？
• RQ3 在仅依赖弱内容监督的无监督文本风格迁移任务中，EISL能多大程度上提升性能？
• RQ4 在非自回归文本生成中，EISL能否无需重新训练或架构修改即可有效替代CE损失？
• RQ5 EISL在不同噪声程度和编辑类型下是否具有鲁棒性，其性能是否可通过自动评估和人工评估指标得到验证？

主要发现

• 在存在噪声的目标序列的机器翻译任务中，EISL显著优于标准交叉熵损失，在各种噪声水平下均获得更高的BLEU分数。
• 在无监督文本风格迁移任务中，EISL在内容保留和风格迁移质量方面优于CE损失和强化学习基线模型。
• 在非自回归文本生成任务中，即使没有预定义的生成顺序，EISL也实现了优于CE损失的性能，展现出其灵活性。
• 该损失对词语调换、重复和屏蔽等编辑类型具有鲁棒性，随着编辑率上升，损失值增长远慢于CE损失。
• EISL在所有评估任务中均达到最先进性能，同时保持计算效率，并与现有训练框架完全兼容。
• 人工评估确认，EISL生成的输出在流畅性及与参考序列的语义一致性方面更优，尤其在弱监督设置下表现显著。