[论文解读] Disentangling ASR and MT Errors in Speech Translation

Ngoc-Tien Le, Benjamin Lecouteux+1 more|arXiv (Cornell University)|Sep 3, 2017

Natural Language Processing Techniques被引用 5

一句话总结

本文提出了一种用于语音翻译的三类错误检测框架，通过联合使用ASR（自动语音识别）和MT（机器翻译）特征，将错误分离为ASR和MT来源。该方法引入了两种用于训练的标签提取方法，在法语-英语语音翻译任务上实现了平均48.00%的F1分数，证明了在端到端SLT系统中识别错误来源的可行性。

ABSTRACT

The main aim of this paper is to investigate automatic quality assessment for spoken language translation (SLT). More precisely, we investigate SLT errors that can be due to transcription (ASR) or to translation (MT) modules. This paper investigates automatic detection of SLT errors using a single classifier based on joint ASR and MT features. We evaluate both 2-class (good/bad) and 3-class (good/badASR/badMT ) labeling tasks. The 3-class problem necessitates to disentangle ASR and MT errors in the speech translation output and we propose two label extraction methods for this non trivial step. This enables - as a by-product - qualitative analysis on the SLT errors and their origin (are they due to transcription or to translation step?) on our large in-house corpus for French-to-English speech translation.

研究动机与目标

• 为解决在语音翻译输出中区分ASR与MT错误的挑战。
• 通过将质量评估从传统的二分类（好/坏）扩展到三分类（好、ASR错误、MT错误），提升SLT中的质量估计能力。
• 开发并评估两种标签提取方法，用于在大规模内部法语-英语语音翻译语料库中分配错误来源。
• 利用联合ASR与MT特征实现错误类型的自动检测，支持更优的系统诊断与交互式翻译应用。
• 提供对SLT中错误来源的定性和定量分析，促进针对性的模型改进。

提出的方法

• 提出一个三类错误检测任务：将每个翻译片段分类为‘好’、‘ASR相关错误’或‘MT相关错误’。
• 使用单一分类器，基于ASR与MT模块的联合特征预测错误类型。
• 采用两种不同的标签提取方法：(1) 基于WER的ASR错误检测与基于TERp-A的MT错误检测；(2) 结合ASR与MT置信度估计的两步法。
• 使用CRF（条件随机场）进行序列标注，以建模跨翻译的错误标签序列。
• 通过加权融合模型整合ASR与MT组件的置信度估计：$ \hat{q} = \underset{q}{\arg\max} \{ p_{ASR}(q|x_f,f)^\alpha * p_{MT}(q|e,f)^{1-\alpha} \} $。
• 在开发集上进行训练，并在包含4050个测试语音片段的大规模内部法语-英语语音翻译语料库上进行测试集评估。

实验结果

研究问题

• RQ1 单一分类器是否能有效检测并分离语音翻译输出中的ASR与MT错误？
• RQ2 不同的标签提取策略如何影响SLT中三类错误标注的可靠性与一致性？
• RQ3 与传统二分类检测相比，三类错误检测在F1分数与错误来源识别方面带来了多大性能提升？
• RQ4 联合ASR与MT特征在多大程度上能提升端到端语音翻译系统中错误来源的检测能力？
• RQ5 在真实世界的语音翻译输出中，ASR与MT模块的错误分布有何差异？

主要发现

• 三类错误检测框架在测试集上实现了平均48.00%的F1分数，其中‘好’类为48.00%，ASR相关错误为44.00%，MT相关错误为16.00%（使用一步法）。
• 两步法标签提取方法性能略低（平均F1为47.33%），但表现出更一致的错误类型分离，验证了该方法论的有效性。
• 混淆矩阵显示，MT错误更常被误分类为ASR错误（例如，在一种设置中55.54%的MT错误被标记为ASR错误），表明需要改进MT置信度估计。
• 一步法在ASR相关错误上的F1分数（85.00%）优于两步法（83.14%），表明ASR与MT特征的更好融合提升了性能。
• 本研究证明，分离错误来源是可行的，并为改进SLT系统提供了可操作的洞察，尤其在交互式场景中具有价值。
• 结果证实，联合建模ASR与MT特征显著优于单独建模任一组件，能显著提升错误检测性能。