[论文解读] Decision Attentive Regularization to Improve Simultaneous Speech Translation Systems

Mohd Abbas Zaidi, Beomseok Lee+2 more|arXiv (Cornell University)|Oct 13, 2021

Natural Language Processing Techniques参考文献 20被引用 4

一句话总结

该论文提出决策注意正则化（DAR），一种通过利用同步文本到文本翻译（SimulMT）模型的单调注意能量来优化读/写决策策略，从而提升同步语音翻译（SimulST）性能的方法。DAR在降低延迟的同时提升了翻译质量，在MuST-C En-De数据集的多个延迟范围内相较基线模型实现了4.5 BLEU点的提升（相对提升34.66%）。

ABSTRACT

Simultaneous translation systems start producing the output while processing the partial source sentence in the incoming input stream. These systems need to decide when to read more input and when to write the output. These decisions depend on the structure of source/target language and the information contained in the partial input sequence. Hence, read/write decision policy remains the same across different input modalities, i.e., speech and text. This motivates us to leverage the text transcripts corresponding to the speech input for improving simultaneous speech-to-text translation (SimulST). We propose Decision Attentive Regularization (DAR) to improve the decision policy of SimulST systems by using the simultaneous text-to-text translation (SimulMT) task. We also extend several techniques from the offline speech translation domain to explore the role of SimulMT task in improving SimulST performance. Overall, we achieve 34.66% / 4.5 BLEU improvement over the baseline model across different latency regimes for the MuST-C English-German (EnDe) SimulST task.

研究动机与目标

• 为了改善由于语音输入复杂性而固有困难的同步语音翻译（SimulST）系统中的读/写决策策略。
• 为了探究来自同步文本到文本翻译（SimulMT）模型的决策是否可作为SimulST的监督信号。
• 为了将离线语音翻译技术（如多任务学习、在线知识蒸馏（KD）和交叉注意正则化（CAR））扩展至同步翻译设置。
• 为了开发一种跨模态正则化机制，通过对齐语音和文本输入之间的单调注意能量，以改善决策策略学习。
• 在不增加推理延迟的前提下，实现SimulST性能的显著提升。

提出的方法

• DAR通过使用自注意力和交叉注意力操作将语音（SimulST）和文本（SimulMT）输入的单调注意能量矩阵映射到共享空间，计算其跨模态相似性。
• 该方法通过计算重建的注意表示（A^{s→t} 和 A^{t→t}）之间的L2距离来度量相似性，并在联合训练过程中最小化差异。
• 所提出的损失函数被整合进基于MMA的SimulST模型训练中，该模型利用单调多头注意（MMA）通过Sigmoid变换的注意能量学习离散的读/写决策。
• 该方法将DAR与现有技术相结合：多任务学习、在线KD、CAR以及数据增强，以联合优化SimulST和SimulMT目标。
• 模型在MuST-C En-De数据集上端到端训练，训练期间强制执行注意能量对齐，以指导决策策略学习。
• 最终模型MMA-DAR整合了所有组件：数据增强、多任务学习、在线KD、CAR和DAR，以实现最佳性能。

实验结果

研究问题

• RQ1 从SimulMT中学到的决策策略是否能提升SimulST模型的性能？
• RQ2 对齐语音和文本输入之间的单调注意能量是否能带来更优的SimulST读/写决策？
• RQ3 像在线KD和CAR这样的离线ST技术在多大程度上可泛化至同步翻译设置？
• RQ4 跨模态注意力正则化是否能在不增加推理延迟的前提下缓解SimulST中的延迟-质量权衡？
• RQ5 DAR带来的性能提升在不同延迟范围内是否具有统计显著性？

主要发现

• 在MuST-C En-De数据集的多个延迟范围内，DAR相较基线MMA模型实现了4.5 BLEU点的提升。
• 34.66%的相对提升在所有延迟水平上保持一致，增益范围为0.7至1.2 BLEU点。
• 最终的MMA-DAR模型结合了DAR与数据增强、多任务学习、在线KD和CAR，在MuST-C En-De测试集上达到22.35 BLEU。
• 仅DAR带来的增益在99%置信水平下具有统计显著性（p = 0.002，配对t检验）。
• 在所有评估点，该模型的延迟均低于基线，且MMA-DAR在相当或更低延迟下实现了更高的BLEU分数。
• DAR带来的增益远高于输入级正则化（如CAR）的增益，表明决策策略正则化比特征级蒸馏更有效。