[论文解读] Discretization and Re-synthesis: an alternative method to solve the Cocktail Party Problem

Jing Shi, Xuankai Chang+4 more|arXiv (Cornell University)|Dec 17, 2021

Speech and Audio Processing被引用 11

一句话总结

本文提出了一种新颖的语音分离方法，该方法用基于分类的框架替代传统的回归方法，采用离散符号序列进行处理。通过利用VQ-VAE或HuBERT进行离散化，并使用HiFi-GAN进行波形重合成，该方法实现了高质量、低干扰的语音分离，并支持无缝的说话人转换，在主观质量与干扰抑制方面优于基于回归的模型。

ABSTRACT

Deep learning based models have significantly improved the performance of speech separation with input mixtures like the cocktail party. Prominent methods (e.g., frequency-domain and time-domain speech separation) usually build regression models to predict the ground-truth speech from the mixture, using the masking-based design and the signal-level loss criterion (e.g., MSE or SI-SNR). This study demonstrates, for the first time, that the synthesis-based approach can also perform well on this problem, with great flexibility and strong potential. Specifically, we propose a novel speech separation/enhancement model based on the recognition of discrete symbols, and convert the paradigm of the speech separation/enhancement related tasks from regression to classification. By utilizing the synthesis model with the input of discrete symbols, after the prediction of discrete symbol sequence, each target speech could be re-synthesized. Evaluation results based on the WSJ0-2mix and VCTK-noisy corpora in various settings show that our proposed method can steadily synthesize the separated speech with high speech quality and without any interference, which is difficult to avoid in regression-based methods. In addition, with negligible loss of listening quality, the speaker conversion of enhanced/separated speech could be easily realized through our method.

研究动机与目标

• 为解决基于回归的语音分离模型在处理相似说话人和非平稳噪声时的局限性。
• 通过从信号级回归转向使用离散符号的序列分类，探索语音分离的替代范式。
• 通过从预测的离散表示进行重合成，提升语音质量并减少鸡尾酒会问题场景下的干扰。
• 在分离语音中实现灵活的说话人转换，同时保持最小的质量退化。

提出的方法

• 该方法使用VQ-VAE或HuBERT模型将目标语音离散化为离散符号序列。
• 基于分类的模型从混合输入中预测每个说话人的离散符号序列。
• 使用HiFi-GAN声码器将预测的离散序列重合成波形。
• 通过转移不同说话人嵌入的离散符号序列，该框架支持说话人转换。
• 系统分为两个阶段运行：离散符号预测，随后进行波形重合成。
• 该方法避免对连续波形直接进行回归，从而减少了掩码方法中常见的干扰伪影。

实验结果

研究问题

• RQ1 基于分类的离散符号方法是否能在语音分离质量与干扰抑制方面优于基于回归的模型？
• RQ2 该方法在分离相似说话人及非平稳噪声下的语音时表现如何？
• RQ3 在离散重合成框架中，能在多大程度上实现说话人转换而不造成语音质量下降？
• RQ4 为何客观评估指标（如PESQ、SI-SNR）无法反映重合成输出的高主观质量？

主要发现

• 在VCTK-noisy数据集上，该方法的主观平均意见得分（sMOS）达到4.02 ± 0.14，几乎与干净参考值（4.03 ± 0.13）相当，表明听感质量极高。
• 与基线模型相比，该方法将重叠语音比例降低了近一个数量级，显示出显著更清晰的分离效果。
• 在WSJ0-2mix数据集上，该方法在各种性别组合下均保持一致的性能，对同性别配对未出现质量显著下降，而基线模型则存在此类问题。
• 在微调后，合成语音的语音识别词错误率（WER）从22.4%降至13.0%，优于原始噪声输入（19.5%），显示出极强的可懂度。
• 在VCTK-noisy数据集上，该方法的噪声主观意见得分（MOS）达到4.02，接近干净参考值，表明感知质量退化极小。
• 尽管客观指标得分较低（如PESQ为1.26），该方法仍提供了卓越的主观质量，凸显了客观指标与人类感知之间的脱节。