[论文解读] Joint Robust Voicing Detection and Pitch Estimation Based on Residual Harmonics

Thomas Drugman, Abeer Alwan|arXiv (Cornell University)|Dec 28, 2019

Speech and Audio Processing被引用 10

一句话总结

本文提出一种基于倒谱反滤波获得的残差信号的联合鲁棒音节检测与基频估计方法，利用残差信号的谐波和（Summation of Residual Harmonics, SRH）。通过利用残差谱中的谐波峰值，并应用一种新型准则以抑制偶次谐波处的虚假极大值，该方法在加性噪声环境下表现出显著的鲁棒性，在噪声条件下优于六种最先进基频跟踪器，尤其在 0 dB 信噪比下的女性语音中表现更优。

ABSTRACT

This paper focuses on the problem of pitch tracking in noisy conditions. A method using harmonic information in the residual signal is presented. The proposed criterion is used both for pitch estimation, as well as for determining the voicing segments of speech. In the experiments, the method is compared to six state-of-the-art pitch trackers on the Keele and CSTR databases. The proposed technique is shown to be particularly robust to additive noise, leading to a significant improvement in adverse conditions.

研究动机与目标

• 解决在噪声语音环境中准确基频跟踪的挑战，因为现有方法在此类条件下性能显著下降。
• 通过利用残差信号中的谐波结构而非原始语音信号，提高音节判断的准确性。
• 开发一个统一框架，使用单一准则同时估计基频并检测有声/无声段。
• 通过逆滤波最小化声道共振峰和频谱失真的影响，提升对加性噪声的鲁棒性。
• 在标准数据库上于干净和噪声条件下评估性能，与最先进基频跟踪器进行对比。

提出的方法

• 该方法首先对语音信号的谱包络进行自回归建模，通过逆滤波估计残差信号，从而展平频谱并减小声道共振峰和噪声的影响。
• 对每个汉宁窗加窗的帧，计算残差信号的幅度谱 E(f)，其在有声段中在基频 F₀ 的整数倍处呈现谐波峰值。
• 计算残差谐波和（SRH）：SRH(f) = E(f) + Σₖ₌₂^N_harm [E(k·f) − E((k−½)·f)]，旨在抑制偶次谐波处的虚假峰值并增强真实的 F₀ 峰值。
• 估计的基频 F₀* 为在 [F₀,min, F₀,max] 范围内使 SRH(f) 最大的频率，采用两步细化：首先在全范围内估计平均 F₀，然后在 [0.5·F₀,mean, 2·F₀,mean] 范围内进行细化，以减少歧义。
• 通过帧能量归一化后对 SRH(F₀*) 进行阈值判断来确定音节；SRH(F₀*) > θ 的帧被分类为有声。
• 在 Keele 和 CSTR 数据库上使用多种噪声类型在 0 dB SNR 条件下评估该方法，与六种最先进基频跟踪器进行性能对比。

实验结果

研究问题

• RQ1 应用于残差信号的基于谐波的准则是否能提升在噪声条件下的基频估计鲁棒性？
• RQ2 所提出的 SRH 准则是否能有效抑制偶次谐波处的虚假峰值并增强真实的 F₀ 峰值？
• RQ3 同一 SRH 指标是否能可靠地同时完成基频估计与音节检测，而无需单独处理？
• RQ4 在噪声条件下，该方法与最先进基频跟踪器相比，在帧错误率（FPE）、音节判断错误率（VDE）和基频错误率（GPE）方面的表现如何？
• RQ5 两步基频估计过程（先估计平均 F₀，再进行细化）是否能提升准确性并减少歧义？

主要发现

• 在干净条件下，SRH 表现具有竞争力：女性语音的 FPE 排名第二，GPE 排名第一，性能与最先进方法相当。
• 在噪声条件下（0 dB SNR），SRH 在女性语音中显著优于所有六种对比方法，FPE 至少降低 8.5%，VDE 在大多数情况下降低超过 10%。
• 在男性语音的噪声条件下，SRH 相比次优方法将 FPE 降低 5.7%，VDE 降低 5.3%，表现出一致的鲁棒性提升。
• SRH 唯一表现不佳的情况是男性语音在 babble 噪声下，可能由于低频谱失真影响了前五个谐波。
• SRH 在噪声中对女性语音表现出极低的 VDE 和 GPE，平均 VDE 为 2.7%，GPE 为 4.0%，甚至优于使用 SRH 的 VAD 的 YIN 方法。
• 该方法的鲁棒性归因于逆滤波，其有效减小了噪声和声道效应的影响，使残差谐波成为更可靠的基频线索。