[论文解读] A study of latent monotonic attention variants

Albert Zeyer, Ralf Schlüter+1 more|arXiv (Cornell University)|Mar 30, 2021

Speech Recognition and Synthesis参考文献 71被引用 7

一句话总结

该论文提出了一种数学上严谨的方法，通过引入表示音频片段边界的隐变量，强制实现序列到序列模型中的单调注意力。该方法在Switchboard数据集上实现了与全局软注意力相当的性能（14.4% WER），同时通过严格的单调性实现了在线推理、稳定性和效率。

ABSTRACT

End-to-end models reach state-of-the-art performance for speech recognition, but global soft attention is not monotonic, which might lead to convergence problems, to instability, to bad generalisation, cannot be used for online streaming, and is also inefficient in calculation. Monotonicity can potentially fix all of this. There are several ad-hoc solutions or heuristics to introduce monotonicity, but a principled introduction is rarely found in literature so far. In this paper, we present a mathematically clean solution to introduce monotonicity, by introducing a new latent variable which represents the audio position or segment boundaries. We compare several monotonic latent models to our global soft attention baseline such as a hard attention model, a local windowed soft attention model, and a segmental soft attention model. We can show that our monotonic models perform as good as the global soft attention model. We perform our experiments on Switchboard 300h. We carefully outline the details of our training and release our code and configs.

研究动机与目标

• 通过强制实现单调性，解决全局软注意力中的收敛性、不稳定性和低效性问题。
• 克服启发式或确定性单调性方法在对齐决策中缺乏灵活性的局限性。
• 提出一种基于隐变量的、可微分且概率化的严谨框架，用于单调对齐。
• 通过确保注意力机制中严格单调性，实现在线流式处理和稳定解码。
• 在保持单调性和效率的同时，展示与全局软注意力相当的竞争力性能。

提出的方法

• 引入一个隐变量 $ t_i $，表示每个输出标签 $ y_i $ 对应的源帧位置，建模 $ p(t_i | y_{1}^{i-1}, x_{1}^{T}) $。
• 通过在所有编码器帧上使用Softmax归一化的注意力分布来计算 $ p(t_i | \text{解码器状态}) $，并利用隐变量确保单调性。
• 通过在标签和对齐上使用交叉熵损失进行端到端训练，实现转录和对齐的联合优化。
• 通过将最大步长限制为 $ \tau $（例如30帧，即1.8秒）来实现支持在线处理的变体，避免完整序列计算。
• 在Switchboard 300小时数据集上，与基线全局软注意力、硬注意力、局部窗口注意力和分段软注意力模型进行比较。
• 使用束搜索解码，结合重新组合和标签平滑技术，以稳定训练并提升对齐质量。

实验结果

研究问题

• RQ1 基于隐变量的方法是否能在保持竞争性自动语音识别性能的同时，强制实现注意力机制中的严格单调性？
• RQ2 在Switchboard数据集上，单调潜在注意力的性能与全局软注意力相比，WER表现如何？
• RQ3 在不损失准确率的前提下，支持在线推理的最优最大步长是多少？
• RQ4 与确定性或启发式方法相比，使用概率化潜在对齐机制是否能提升训练稳定性和收敛性？
• RQ5 单调潜在注意力模型是否能够同时支持标签同步和时间同步解码，从而实现在线流式处理？

主要发现

• 所提出的单调潜在注意力模型在Hub5'00测试集上实现了14.4%的WER，与全局软注意力基线性能相当。
• 最大步长为30帧（1.8秒）已足够实现高性能，超过此阈值后性能无显著提升。
• 训练过程中使用标签平滑和适当的序列打乱策略，显著改善了收敛性，并使WER降低超过1个百分点。
• 在初始因对齐问题导致的不稳定性之后，模型展现出稳定的训练动态，该问题通过重新组合和权重反馈机制得到缓解。
• 采用近似重新组合和扩展时间建模（$ K_t = 48 $）的硬注意力变体，实现了14.8%的WER，表明对超参数调优具有鲁棒性。
• 可视化结果证实，潜在模型产生的注意力分布比全局软注意力更清晰、更具单调性，非单调偏差极小。