[论文解读] Beyond Voice Activity Detection: Hybrid Audio Segmentation for Direct Speech Translation

Marco Gaido, Matteo Negri+2 more|arXiv (Cornell University)|Apr 23, 2021

Natural Language Processing Techniques参考文献 29被引用 16

一句话总结

本文提出一种用于直接语音翻译的混合音频分割方法，通过将自动分割与人工分割之间的差距减少至少30%，从而提升翻译质量。该方法结合语言线索与音频特征，生成具有句法意识的分割片段，在不增加延迟的情况下，优于基于VAD的方法、固定长度分割法以及现有混合技术，尤其在低资源语言对和句法结构差异较大的语言对中表现更优。

ABSTRACT

The audio segmentation mismatch between training data and those seen at run-time is a major problem in direct speech translation. Indeed, while systems are usually trained on manually segmented corpora, in real use cases they are often presented with continuous audio requiring automatic (and sub-optimal) segmentation. After comparing existing techniques (VAD-based, fixed-length and hybrid segmentation methods), in this paper we propose enhanced hybrid solutions to produce better results without sacrificing latency. Through experiments on different domains and language pairs, we show that our methods outperform all the other techniques, reducing by at least 30% the gap between the traditional VAD-based approach and optimal manual segmentation.

研究动机与目标

• 解决由于训练阶段（人工分割）与推理阶段（自动分割）音频分割不匹配导致的直接语音翻译性能下降问题。
• 探究现有分割技术（基于VAD、固定长度、混合方法）在端到端直接ST场景下的局限性。
• 设计一种结合语言结构与音频特征的混合分割方法，生成更准确、具备句法意识的分割片段，同时不牺牲延迟。
• 在多样化领域（TED、欧洲议会）和语言对（英德、英意）上评估该方法，验证其鲁棒性与泛化能力。

提出的方法

• 提出一种混合分割框架，结合基于VAD的语音活动检测与从自动语音识别（ASR）转录文本中提取的句法分割线索。
• 通过ASR生成的标点符号和语调特征，在从句边界强制进行分割，生成更短且具有语言意义的片段。
• 采用动态阈值机制，根据语言连贯性与音频时长合并或拆分片段，避免生成过短或过长的片段。
• 通过实时处理音频流，确保方法具备流式处理兼容性，实现实时推理且无需等待完整音频输入即可实现低延迟。
• 结合VAD、ASR与语言结构共同引导分割过程，避免在推理后依赖外部ASR模型。
• 采用两阶段分割策略：首先由VAD识别语音区域，随后利用语言结构细化边界，使其与句法单元对齐。

实验结果

研究问题

• RQ1 在直接语音翻译中，基于VAD的分割与人工分割在翻译质量上的表现差异如何？
• RQ2 在直接ST中，固定长度与基于VAD的分割方法存在哪些局限性，特别是在片段长度与语言连贯性方面？
• RQ3 结合语言结构的混合分割方法是否能显著提升翻译性能，超越基于VAD与固定长度的基线方法？
• RQ4 源语言与目标语言之间的句法相似性如何影响最优分割策略的选择？
• RQ5 能否设计一种兼顾延迟敏感性的混合分割方法，适用于流式直接语音翻译应用？

主要发现

• 所提出的混合方法在英德翻译中将基于VAD的分割与人工分割之间的性能差距减少了54.71%，在英意翻译中减少了30.95%。
• 该方法在MuST-C与Europarl-ST数据集上全面优于所有基线方法（包括VAD、固定长度、SRPOL类方法）。
• 强制分割（在从句级别进行分割）虽导致输出长度增加，但显著减少了幻觉现象并提升了句法对齐效果，从而改善了德语翻译结果。
• 该方法保持了低延迟特性，适用于流式处理，因其无需等待完整音频输入即可完成分割。
• 在句法结构差异较大的语言对（如SVO到SOV）中，性能差距的减少最为显著，因这类语言的句法重排更为复杂。
• 该方法的效果对目标语言的句法结构敏感：在意大利语（与英语句法更相似）上表现更优，而在德语上则因长距离句法重排导致错误更易传播，因而表现相对下降。