[论文解读] Attention Forcing for Sequence-to-sequence Model Training

Qingyun Dou, Yiting Lu+2 more|arXiv (Cornell University)|Sep 26, 2019

Natural Language Processing Techniques参考文献 23被引用 4

一句话总结

本文提出注意力强制（attention forcing），一种用于序列到序列模型的训练方法，通过结合生成输出历史与参考注意力，提升训练稳定性和推理鲁棒性。该方法使模型能够在推理过程中从错误中恢复，并在语音合成任务中取得显著性能提升，同时在机器翻译任务中实现一致的性能改进，且无需使用启发式调度策略或辅助分类器。

ABSTRACT

Auto-regressive sequence-to-sequence models with attention mechanism have achieved state-of-the-art performance in many tasks such as machine translation and speech synthesis. These models can be difficult to train. The standard approach, teacher forcing, guides a model with reference output history during training. The problem is that the model is unlikely to recover from its mistakes during inference, where the reference output is replaced by generated output. Several approaches deal with this problem, largely by guiding the model with generated output history. To make training stable, these approaches often require a heuristic schedule or an auxiliary classifier. This paper introduces attention forcing, which guides the model with generated output history and reference attention. This approach can train the model to recover from its mistakes, in a stable fashion, without the need for a schedule or a classifier. In addition, it allows the model to generate output sequences aligned with the references, which can be important for cascaded systems like many speech synthesis systems. Experiments on speech synthesis show that attention forcing yields significant performance gain. Experiments on machine translation show that for tasks where various re-orderings of the output are valid, guiding the model with generated output history is challenging, while guiding the model with reference attention is beneficial.

研究动机与目标

• 为解决自回归序列到序列模型在推理过程中因训练阶段使用教师强制（teacher forcing）而无法有效应对错误传播所导致的不稳定与泛化能力差的问题。
• 克服课程采样（scheduled sampling）与教授强制（professor forcing）的局限性，后者需要启发式调度策略或判别器以实现稳定训练。
• 使模型能够更稳健地学习输入与输出序列之间的对齐关系，尤其对文本到语音等级联系统具有显著优势。
• 探究在存在多种有效输出重排方式的任务（如机器翻译）中，使用参考注意力而非生成输出进行训练指导，是否能提升模型性能。

提出的方法

• 注意力强制采用混合训练策略：解码器隐藏状态使用生成的输出标记进行更新（类似自由运行模式），而注意力机制则由基于真实输出计算的参考注意力权重引导。
• 该方法将输出生成与对齐学习解耦，使模型能够独立且稳定地学习注意力对齐。
• 注意力机制使用来自教师强制的参考对齐权重 $\bm{\alpha}_t$ 计算上下文向量，而解码器状态 $\hat{\bm{s}}_t$ 则通过先前生成的标记 $\bm{y}_{t-1}$ 进行更新。
• 模型同时使用负对数似然（NLL）损失和额外的注意力损失进行训练，后者促使预测注意力与参考注意力相匹配。
• 在级联式文本到语音系统中，模型先以教师强制模式进行预训练，随后在注意力强制模式下使用参考注意力进行微调，使下游模型能够纠正上游错误。
• 在机器翻译任务中，采用改进的注意力强制模式，训练期间同时使用参考输出与参考注意力，以避免因生成输出对齐偏差导致的性能下降。

实验结果

研究问题

• RQ1 注意力强制是否能在不依赖启发式调度策略或辅助分类器的前提下，稳定序列到序列模型的训练？
• RQ2 将生成输出历史与参考注意力相结合，是否能提升模型在推理过程中从预测错误中恢复的能力？
• RQ3 注意力强制是否能通过生成注意力对齐的输出，提升级联系统（如文本到语音）的性能？
• RQ4 在存在多种有效输出重排方式的任务（如机器翻译）中，使用参考注意力指导模型是否比使用生成输出更有效？
• RQ5 注意力强制是否能对注意力机制起到正则化作用，并在低资源机器翻译设置下改善对齐学习？

主要发现

• 在文本到语音任务中，注意力强制显著提升了语音质量，主观听感测试中人类听者在72%的成对比较中更偏好注意力强制生成的输出。
• 主观听感测试（30名标注者参与）证实，注意力强制的TTS系统生成的语音比教师强制更自然、更具表现力。
• 在机器翻译（IWSLT 2015 英语-越南语）任务中，使用参考注意力的注意力强制相比教师强制实现了+0.35 BLEU的性能提升，10个模型中有9个表现更好。
• 一致的BLEU分数提升表明，参考注意力引导具有显著优势，可避免在重排敏感任务中因生成输出历史导致的性能退化。
• 该方法实现了稳定训练，无需学习率调度或判别器，与课程采样或教授强制相比具有优势。
• 注意力强制使级联系统中的下游模型能够利用注意力对齐的输出，从而提升错误纠正能力与系统整体鲁棒性。