[论文解读] Brouhaha: multi-task training for voice activity detection, speech-to-noise ratio, and C50 room acoustics estimation

Marvin Lavechin, Marianne Métais+8 more|arXiv (Cornell University)|Oct 24, 2022

Speech Recognition and Synthesis被引用 8

一句话总结

Brouhaha 提出了一种多任务深度学习模型，通过使用合成污染数据，从单通道音频中联合预测语音活动检测、信噪比（SNR）和 C50 房间声学特性。该模型在 1,250 小时合成音频上进行训练，在真实世界数据上表现出色，表明多任务训练可提升泛化能力，并实现对 ASR 和说话人分割系统在劣化声学条件下的可靠性进行实用化分析。

ABSTRACT

Most automatic speech processing systems register degraded performance when applied to noisy or reverberant speech. But how can one tell whether speech is noisy or reverberant? We propose Brouhaha, a neural network jointly trained to extract speech/non-speech segments, speech-to-noise ratios, and C50room acoustics from single-channel recordings. Brouhaha is trained using a data-driven approach in which noisy and reverberant audio segments are synthesized. We first evaluate its performance and demonstrate that the proposed multi-task regime is beneficial. We then present two scenarios illustrating how Brouhaha can be used on naturally noisy and reverberant data: 1) to investigate the errors made by a speaker diarization model (pyannote.audio); and 2) to assess the reliability of an automatic speech recognition model (Whisper from OpenAI). Both our pipeline and a pretrained model are open source and shared with the speech community.

研究动机与目标

• 开发一个统一系统，无需预先分割或冲激响应（RIR）即可从单通道音频中估计语音活动、SNR 和房间声学特性（C50）。
• 探究联合多任务训练是否相比单任务基线模型，能提升语音活动检测、SNR 和 C50 估计的性能。
• 利用预测的声学指标，实现对实际噪声和混响条件下语音处理系统可靠性（如 ASR 和说话人分割）的实用化分析。
• 提供一个开源、易于使用的工具，使非专家能够评估语音数据质量与系统鲁棒性。

提出的方法

• 通过将干净语音和噪声片段与随机采样的房间冲激响应（RIR）卷积，并在 0 到 30 dB 之间的随机 SNR 下混合，生成合成音频。
• 该模型在 1,250 小时此类合成数据上进行端到端训练，以执行三项任务：语音/非语音分类、帧级 SNR 回归和 C50 回归。
• 采用滑动窗口方法，在 2 秒的音频段内以 10 ms 间隔计算 SNR，以捕捉局部 SNR 变化，提升对非平稳噪声的鲁棒性。
• 模型使用共享编码器和针对 VAD、SNR 和 C50 预测的任务特定头，实现参数共享与联合优化。
• 训练目标结合了 VAD 的交叉熵损失与 SNR 和 C50 回归的均方误差损失，并采用平衡加权以防止某一任务主导训练过程。
• 通过两个实际应用场景在真实数据上评估系统：分析预训练说话人分割系统（pyannote.audio）的错误，以及利用预测指标评估 ASR 系统（Whisper）的可靠性。

实验结果

研究问题

• RQ1 单一神经网络能否在无需 RIR 或预先分割的情况下，从单通道音频中联合且有效地预测语音活动、SNR 和 C50？
• RQ2 与单任务基线相比，多任务训练是否能提升 VAD、SNR 和 C50 估计的性能？
• RQ3 在合成数据上训练的模型能否泛化到真实世界中的噪声和混响音频，以实现实际系统评估？
• RQ4 预测的 SNR 和 C50 值与下游系统（如说话人分割和 ASR）的实际性能退化程度之间是否存在相关性？

主要发现

• 在保留的测试集上，Brouhaha 在预测值与真实 C50 值之间实现了较高的决定系数（R² = 0.85），平均绝对误差为 1.1 dB。
• 该模型表明多任务训练具有显著优势，相比单任务基线，其在所有三项任务上的泛化能力和性能均有提升。
• 如 Brouhaha 所预测，在低 SNR 和低 C50 条件下，说话人分割错误（尤其是说话人混淆）显著增加。
• Whisper 在高 SNR 区域（[12,24] dB）的词转录准确率为 83%，而在低 SNR 区域（[-9,-4] dB）下降至 38%，证实其在噪声环境下的可靠性降低。
• 该模型成功识别出真实世界数据中的问题音频段，使研究人员能够在无需人工标注的情况下，对系统故障进行针对性分析。
• 开源的 Brouhaha 流水线和预训练模型允许研究人员通过单条命令行界面，轻松评估声学条件与系统鲁棒性。