[论文解读] Efficient Monotonic Multihead Attention

Xutai Ma, Anna Sun+3 more|arXiv (Cornell University)|Dec 7, 2023

Natural Language Processing Techniques被引用 5

一句话总结

该论文提出了一种高效单调多头注意力（EMMA），一种在端到端同时翻译模型中实现单调对齐估计的数值稳定且无偏的方法。通过引入可微分、稳定的对齐计算方式，并减少对齐估计中的方差，EMMA 在文本到文本和语音到文本的同时翻译任务中均取得了最先进性能，显著改善了先前方法在延迟与质量之间的权衡。

ABSTRACT

We introduce the Efficient Monotonic Multihead Attention (EMMA), a state-of-the-art simultaneous translation model with numerically-stable and unbiased monotonic alignment estimation. In addition, we present improved training and inference strategies, including simultaneous fine-tuning from an offline translation model and reduction of monotonic alignment variance. The experimental results demonstrate that the proposed model attains state-of-the-art performance in simultaneous speech-to-text translation on the Spanish and English translation task.

研究动机与目标

• 解决同时翻译模型训练过程中单调对齐估计存在的数值不稳定性与偏差问题。
• 减少长输入序列后半部分对齐估计中的方差。
• 提升在语音到文本翻译中的性能，因为先前模型如 MMA 受限于语音编码器状态的连续性而表现不佳。
• 开发一种训练策略，使从预训练的离线模型进行有效微调成为可能。
• 在延迟与翻译质量之间实现更优权衡的前提下，取得同时翻译任务的最先进结果。

提出的方法

• 提出一种基于累积乘积和矩阵运算的数值稳定单调对齐估计方法，以避免梯度消失问题。
• 引入一个通过 (1 - p_i,l) 累积乘积计算的转移矩阵 T(i)，用于建模源位置之间的读取转移。
• 采用 PyTorch 操作的可微分公式化方法：torch.cumprod、torch.triu 和 torch.roll，以高效计算对齐。
• 使用扩展的概率矩阵 P_ext(i) 表示源位置上的读取概率，支持并行计算。
• 在训练过程中应用一种新颖的延迟正则化与对齐方差减少策略，以稳定策略学习。
• 采用从预训练离线模型进行同时微调的方法，以提升收敛速度与性能。

实验结果

研究问题

• RQ1 为何单调多头注意力（MMA）在语音到文本翻译任务中无法超越简单的 wait-k 基线模型？
• RQ2 现有单调对齐估计方法中数值不稳定性与偏差的根源是什么？
• RQ3 如何减少长序列后半部分的对齐方差，以改善策略学习？
• RQ4 可微分且稳定的对齐计算是否能提升文本与语音输入下的同时翻译性能？
• RQ5 从离线模型进行微调是否能提升同时翻译模型的性能？

主要发现

• EMMA 在英语和西班牙语的语音到文本同时翻译任务中均取得了最先进性能，优于先前方法。
• 该模型显著降低了单调对齐的方差，尤其是在输入序列的后半部分，从而实现了更稳定的策略学习。
• 通过所提出的基于矩阵的公式化方法，有效缓解了对齐估计中的数值不稳定性与偏差。
• 所提出的训练策略，包括从离线模型进行同时微调，显著提升了收敛速度与翻译质量。
• EMMA 在保持高翻译质量的同时实现了更低的平均滞后（AL），证明了其在延迟与质量之间权衡的优越性。
• 该方法在文本到文本与语音到文本翻译任务中均表现优异，展现出广泛的适用性。