[论文解读] Local Monotonic Attention Mechanism for End-to-End Speech and Language Processing

Andros Tjandra, Sakriani Sakti+1 more|arXiv (Cornell University)|May 23, 2017

Topic Modeling参考文献 20被引用 32

一句话总结

本文提出了一种用于端到端语音与语言处理的局部单调注意力机制，通过强制执行从左到右的单调对齐并聚焦于编码器状态的局部窗口，实现高效计算。通过动态预测对齐位置并将注意力限制在滑动窗口内，该方法降低了计算成本并提高了对齐精度，在自动语音识别（ASR）、音素转写（G2P）和机器翻译任务中相比全局注意力和先前的局部方法取得了显著性能提升。

ABSTRACT

Recently, encoder-decoder neural networks have shown impressive performance on many sequence-related tasks. The architecture commonly uses an attentional mechanism which allows the model to learn alignments between the source and the target sequence. Most attentional mechanisms used today is based on a global attention property which requires a computation of a weighted summarization of the whole input sequence generated by encoder states. However, it is computationally expensive and often produces misalignment on the longer input sequence. Furthermore, it does not fit with monotonous or left-to-right nature in several tasks, such as automatic speech recognition (ASR), grapheme-to-phoneme (G2P), etc. In this paper, we propose a novel attention mechanism that has local and monotonic properties. Various ways to control those properties are also explored. Experimental results on ASR, G2P and machine translation between two languages with similar sentence structures, demonstrate that the proposed encoder-decoder model with local monotonic attention could achieve significant performance improvements and reduce the computational complexity in comparison with the one that used the standard global attention architecture.

研究动机与目标

• 解决在自动语音识别（ASR）和机器翻译等长序列任务中全局注意力机制存在的计算效率低下和对齐错误问题。
• 在序列生成中强制实现单调的、从左到右的对齐，这对自回归任务（如语音识别和音素转写）至关重要。
• 引入一种局部注意力机制，将计算限制在编码器状态的一个小而动态的窗口内，从而在不损失性能的前提下降低复杂度。
• 探索多种用于局部性和单调性的控制机制，包括动态窗口大小和位置预测。
• 证明所提出的机制在准确率和效率方面均优于全局注意力和先前的局部方法（local-m）。

提出的方法

• 注意力机制基于预测的对齐位置周围的局部窗口计算上下文向量，而非关注所有编码器状态。
• 动态位置预测模块根据解码器状态和先前对齐位置估计下一个对齐点，实现窗口的自适应放置。
• 注意力权重分布仅在以预测位置为中心的固定大小窗口内计算，从而强制实现局部性。
• 通过仅允许对齐向前移动来强制实现单调性，确保源序列对齐中无后向跳跃。
• 窗口大小和位置通过可学习参数控制，支持端到端训练与梯度下降优化。
• 模型采用软注意力机制，其得分函数在局部窗口内计算解码器与编码器隐藏状态之间的兼容性。

实验结果

研究问题

• RQ1 局部且单调的注意力机制能否提升端到端语音与语言模型中的对齐准确率？
• RQ2 强制实现单调性和局部性是否能在保持或提升性能的同时降低计算复杂度？
• RQ3 不同窗口大小和对齐位置的控制策略如何影响模型性能？
• RQ4 在源-目标序列长度比变化较大的任务中，对齐位置的动态预测是否优于固定步长的局部注意力？
• RQ5 在自动语音识别（ASR）、音素转写（G2P）和机器翻译任务中，该机制与全局注意力及先前的局部方法相比表现如何？

主要发现

• 与全局注意力相比，该模型在英法翻译任务中BLEU分数最高提升2.2分，在印尼语到英语翻译任务中提升3.6分。
• 在英法翻译任务中，相比固定步长的local-m注意力，BLEU分数提升0.8分；在印尼语到英语翻译任务中，提升达2.0分。
• 通过将注意力限制在编码器状态的小而局部的窗口内，显著降低了计算复杂度。
• 动态位置预测机制在语音识别和G2P等长度比变化较大的任务中实现了更优的对齐效果。
• 局部单调注意力机制在自动语音识别（ASR）、音素转写（G2P）和机器翻译等多种任务中均表现出一致的性能提升。
• 该方法通过限制感受野，有效起到了正则化作用，提升了泛化能力与对齐稳定性。