[论文解读] Design and Optimization of a Speech Recognition Front-End for Distant-Talking Control of a Music Playback Device

Ramin Pichevar, Jason Wung+2 more|arXiv (Cornell University)|May 5, 2014

Speech and Audio Processing参考文献 37被引用 3

一句话总结

本文提出了一种针对便携式音乐设备远距离语音控制的鲁棒单麦克风语音识别前端，结合级联回声消除、双 talk 检测以及一种新型自适应准二值掩蔽以实现噪声抑制。通过遗传算法优化以最大化识别准确率，该系统在语音与音乐功率比低至 -35 dB 时仍能实现超过 90% 的指令识别率，从而在高度恶劣的声学条件下实现可靠的语音控制。

ABSTRACT

This paper addresses the challenging scenario for the distant-talking control of a music playback device, a common portable speaker with four small loudspeakers in close proximity to one microphone. The user controls the device through voice, where the speech-to-music ratio can be as low as -30 dB during music playback. We propose a speech enhancement front-end that relies on known robust methods for echo cancellation, double-talk detection, and noise suppression, as well as a novel adaptive quasi-binary mask that is well suited for speech recognition. The optimization of the system is then formulated as a large scale nonlinear programming problem where the recognition rate is maximized and the optimal values for the system parameters are found through a genetic algorithm. We validate our methodology by testing over the TIMIT database for different music playback levels and noise types. Finally, we show that the proposed front-end allows a natural interaction with the device for limited-vocabulary voice commands.

研究动机与目标

• 解决在音乐播放音量高且语音与回声比低的便携式音乐设备中远距离语音控制的挑战。
• 设计一种单麦克风前端，实现在极端声学退化（包括音乐播放和背景噪声）条件下的可靠语音识别。
• 采用非线性规划方法优化系统参数，以实现自动语音识别（ASR）性能的最大化。
• 在真实录音中验证系统性能，使用不同语音与音乐功率比下的自然语音指令。
• 在低信噪比的实际实时场景中，展示有限词汇语音控制的可行性。

提出的方法

• 前端采用两级鲁棒声学回声消除器（RAEC）的级联结构，结合多延迟自适应滤波，以抑制来自扬声器的回声。
• 利用双 talk 概率（DTP）估计器和基于相干性的残留回声功率估计器，检测并抑制残留回声。
• 提出一种新型自适应准二值掩蔽，结合最小均方误差（MMSE）估计与理想二值掩蔽（IBM）近似，以在低信噪比下增强噪声抑制效果。
• 系统集成一种基于先验和后验信噪比（SNR）能量阈值的语音活动检测器（VAD），用于分离语音帧。
• 参数调优被建模为大规模非线性规划问题，通过遗传算法（GA）求解，以在 TIMIT 数据库上最大化 ASR 准确率。
• 训练数据通过将干净的 TIMIT 语音与房间脉冲响应卷积，并与音乐、嘈杂背景或工厂噪声在不同水平下混合生成。

实验结果

研究问题

• RQ1 单麦克风前端是否能在音乐播放音量高且语音与回声比低的便携式音乐设备中实现鲁棒语音识别？
• RQ2 在实时播放条件下，级联 RAEC 配合双 talk 检测与残留回声抑制，在减少回声和噪声方面的有效性如何？
• RQ3 将基于 MMSE 的增强与自适应准二值掩蔽结合，是否能在极低信噪比下显著提升识别性能，优于传统方法？
• RQ4 与基于质量的优化（如 POLQA）相比，基于遗传算法的前端参数优化是否能显著提升 ASR 准确率？
• RQ5 在语音与音乐功率比低至 -35 dB 的真实世界条件下，有限词汇语音指令的可实现识别率是多少？

主要发现

• 在 babble 噪声下，该前端在嘈杂 TIMIT 数据库上的电话识别准确率达到 37.4%（二元语法），显著优于基线方法。
• 在真实世界测试中，系统在语音与音乐功率比为 -25 至 -20 dB 时，对 'PLAY' 和 'NEXT' 指令的识别准确率达到 90%，在 -30 至 -25 dB 时对 'PLAY' 的识别准确率为 80%。
• 在最低 SER（-35 至 -30 dB）下，系统对 'BACK' 的识别率为 73%，对 'PAUSE' 的识别率为 76%，显著优于未应用增强时的 25% 基线。
• 在所有 SER 水平下，ASR 优化的参数均优于 POLQA 优化的参数，表明针对识别任务的调优比针对质量的调优更有效。
• 通过语谱图可观察到，系统保留了语音的可懂性和结构，处理后的信号即使在初始不可听的情况下，对人类听者也变得清晰可辨。
• 真实实验中估计的语音与回声比（SER）范围为 -35 至 -20 dB，验证了基于仿真的调优方法在真实世界条件下的泛化能力。