[论文解读] How Bad Are Artifacts?: Analyzing the Impact of Speech Enhancement Errors on ASR

Kazuma Iwamoto, Tsubasa Ochiai+5 more|arXiv (Cornell University)|Jan 18, 2022

Speech and Audio Processing被引用 5

一句话总结

本文识别出语音增强（SE）伪影——即无法表示为语音与噪声线性组合的误差——是单通道SE中自动语音识别（ASR）性能下降的主要原因。通过基于正交投影的误差分解方法，本文表明：即使在真实录音上，通过观测添加（OA）技术人为减少这些伪影，也能单调提升信噪比与ASR准确率，为提升ASR鲁棒性提供了实用路径。

ABSTRACT

It is challenging to improve automatic speech recognition (ASR) performance in noisy conditions with single-channel speech enhancement (SE). In this paper, we investigate the causes of ASR performance degradation by decomposing the SE errors using orthogonal projection-based decomposition (OPD). OPD decomposes the SE errors into noise and artifact components. The artifact component is defined as the SE error signal that cannot be represented as a linear combination of speech and noise sources. We propose manually scaling the error components to analyze their impact on ASR. We experimentally identify the artifact component as the main cause of performance degradation, and we find that mitigating the artifact can greatly improve ASR performance. Furthermore, we demonstrate that the simple observation adding (OA) technique (i.e., adding a scaled version of the observed signal to the enhanced speech) can monotonically increase the signal-to-artifact ratio under a mild condition. Accordingly, we experimentally confirm that OA improves ASR performance for both simulated and real recordings. The findings of this paper provide a better understanding of the influence of SE errors on ASR and open the door to future research on novel approaches for designing effective single-channel SE front-ends for ASR.

研究动机与目标

• 理解为何单通道语音增强（SE）在降低噪声的同时，往往无法提升ASR性能。
• 使用基于正交投影的误差分解（OPD）方法，将SE估计误差分解为噪声与伪影分量。
• 研究噪声误差与伪影误差对ASR性能的相对影响。
• 评估观测添加（OA）技术作为后处理方法，缓解伪影相关性能下降的有效性。
• 为设计面向ASR优化的更优单通道SE前端提供洞见。

提出的方法

• 采用基于正交投影的误差分解（OPD）方法，将SE估计误差分解为噪声与伪影分量。
• 将伪影分量定义为误差中无法表示为语音与噪声信号线性组合的部分。
• 在增强信号中手动调节噪声与伪影分量，以隔离并分析其对ASR的影响。
• 应用观测添加（OA）技术：将观测信号的缩放版本添加到增强输出中，以降低伪影能量。
• 在模拟与真实录音上，使用信噪比（SNR）、信伪影比（SAR）与词错误率（WER）作为评估指标。
• 从OPD视角解释OA方法，表明其在温和条件下可提升SAR。

实验结果

研究问题

• RQ1 在单通道语音增强中，噪声误差与伪影误差对ASR性能的相对影响如何？
• RQ2 SE误差中的伪影分量是否可被识别为ASR性能下降的主要原因？
• RQ3 观测添加（OA）技术是否能有效减轻伪影对ASR的负面影响？
• RQ4 在温和条件下，OA是否能单调提升信伪影比（SAR）与ASR性能？
• RQ5 OA的有效性是否可推广至真实世界录音？

主要发现

• SE误差中的伪影分量是ASR性能下降的主要原因，而噪声误差的影响相对有限。
• 通过误差分量缩放人为降低伪影能量，可显著改善ASR词错误率（WER）。
• 在温和条件下，观测添加（OA）技术单调提升信伪影比（SAR），从而改善ASR性能。
• OA在模拟与真实录音上均能提升WER，且在CHiME-3数据集上，当ω_obs ∈ [0.3, 0.8]时，相对提升约20%。
• OA方法对缩放因子ω_obs的选择具有鲁棒性，在一系列取值范围内均能保持一致的WER改善效果。
• 研究结果表明，未来面向ASR的SE前端设计应优先关注减少伪影，而非仅降低噪声，从而为训练目标与网络架构研究开辟新方向。