[论文解读] Monotonic Chunkwise Attention

Chung‐Cheng Chiu, Colin Raffel|arXiv (Cornell University)|Dec 14, 2017

Speech Recognition and Synthesis参考文献 22被引用 33

一句话总结

本文提出了一种新型注意力机制——单调分块注意力（MoChA），通过结合硬性单调注意力与输入序列自适应非重叠分块的软注意力，实现了在线、线性时间解码。MoChA在在线语音识别任务中达到最先进性能，在文档摘要任务中相比单调注意力实现20%的相对性能提升，同时保持与标准反向传播兼容，仅带来适度的计算成本增加。

ABSTRACT

Sequence-to-sequence models with soft attention have been successfully applied to a wide variety of problems, but their decoding process incurs a quadratic time and space cost and is inapplicable to real-time sequence transduction. To address these issues, we propose Monotonic Chunkwise Attention (MoChA), which adaptively splits the input sequence into small chunks over which soft attention is computed. We show that models utilizing MoChA can be trained efficiently with standard backpropagation while allowing online and linear-time decoding at test time. When applied to online speech recognition, we obtain state-of-the-art results and match the performance of a model using an offline soft attention mechanism. In document summarization experiments where we do not expect monotonic alignments, we show significantly improved performance compared to a baseline monotonic attention-based model.

研究动机与目标

• 为解决标准软注意力在序列到序列模型中的二次方时间与空间复杂度问题，该问题阻碍了实时推理。
• 克服硬性单调注意力的局限性，后者限制了模型表达能力，并在非单调对齐任务中表现不如软注意力。
• 在保持软注意力灵活性的同时，通过输入序列的自适应分块实现实时、高效的在线解码。
• 开发一种与标准反向传播兼容的训练方法，使MoChA能够无缝集成到现有序列到序列架构中。

提出的方法

• MoChA使用硬性单调注意力机制确定编码器记忆中分块的结束位置，确保从左到右、不重排的对齐方式。
• 在每个分块内，对固定窗口大小 w 应用软注意力，将记忆状态的加权平均作为上下文向量。
• 分块边界在推理时动态确定，由单调机制决定，从而根据输入结构实现自适应分割。
• 每个分块的注意力权重使用标准软注意力机制计算，查询来自解码器的隐藏状态，键来自记忆分块。
• 模型通过标准反向传播进行端到端训练，训练期间对硬性单调机制的期望输出进行近似，以实现梯度流动。
• 分块大小 w 是一个超参数，用于控制计算效率与建模灵活性之间的权衡。

实验结果

研究问题

• RQ1 结合单调分块与软注意力的混合注意力机制，能否在保持高性能的同时实现线性时间解码？
• RQ2 MoChA是否能弥合软注意力与硬性单调注意力在在线序列转换任务中的性能差距？
• RQ3 MoChA能否有效建模文档摘要等任务中的局部重排现象，其中并不要求严格单调的对齐？
• RQ4 MoChA是否可使用标准反向传播进行训练，而无需专门的优化方法或强化学习？

主要发现

• 在Wall Street Journal在线语音识别基准上，MoChA实现了13.9%的词错误率（WER），与软注意力模型（14.2%）性能相当，优于此前最先进单调注意力模型（17.4%）。
• 在CNN/Daily Mail数据集的文档摘要任务中，MoChA在 w=8 时达到35.46的ROUGE-F1分数，相比硬性单调注意力（31.14）实现20%的相对提升，且接近软注意力性能（39.11）。
• MoChA实现了在线、线性时间解码，推理复杂度从 O(TU) 降低至 O(T)，适用于实时应用。
• 该方法保持与标准反向传播的兼容性，无需架构重构，可无缝集成到现有序列到序列模型中。
• 摘要任务中的性能提升表明，MoChA即使在输入输出对齐非严格单调时，也能有效建模局部重排。