[论文解读] Monaural Audio Speaker Separation with Source Contrastive Estimation

Cory Stephenson, Patrick Callier+2 more|arXiv (Cornell University)|May 12, 2017

Speech and Audio Processing参考文献 12被引用 4

一句话总结

该论文提出了一种源对比估计（SCE）方法，一种使用深度双向LSTM将说话人特征嵌入对比向量空间的单通道语音分离方法。通过优化对比损失使嵌入在向量空间中分离不同说话人（类似于自然语言处理中的负采样），该方法在训练集内混合语音上实现了7.69 dB的SIR提升，在训练集外混合语音上实现了7.14 dB的SIR提升，且训练速度比先前的深度学习基线方法快45%。

ABSTRACT

We propose an algorithm to separate simultaneously speaking persons from each other, the "cocktail party problem", using a single microphone. Our approach involves a deep recurrent neural networks regression to a vector space that is descriptive of independent speakers. Such a vector space can embed empirically determined speaker characteristics and is optimized by distinguishing between speaker masks. We call this technique source-contrastive estimation. The methodology is inspired by negative sampling, which has seen success in natural language processing, where an embedding is learned by correlating and de-correlating a given input vector with output weights. Although the matrix determined by the output weights is dependent on a set of known speakers, we only use the input vectors during inference. Doing so will ensure that source separation is explicitly speaker-independent. Our approach is similar to recent deep neural network clustering and permutation-invariant training research; we use weighted spectral features and masks to augment individual speaker frequencies while filtering out other speakers. We avoid, however, the severe computational burden of other approaches with our technique. Furthermore, by training a vector space rather than combinations of different speakers or differences thereof, we avoid the so-called permutation problem during training. Our algorithm offers an intuitive, computationally efficient response to the cocktail party problem, and most importantly boasts better empirical performance than other current techniques.

研究动机与目标

• 使用单麦克风解决单通道音频中的鸡尾酒派对问题，其中空间和时间线索不足以实现分离。
• 通过避免在训练过程中依赖说话人顺序，克服语音分离中的排列问题。
• 构建一个与说话人无关的嵌入空间，使其在无需微调的情况下可泛化至未见说话人。
• 相比排列不变训练（PIT）和深度聚类方法，降低计算成本并提升性能。
• 实现对多样化说话人组合（包括未见的训练集外说话人）的重叠语音的鲁棒分离。

提出的方法

• 训练一个双向LSTM，将时频特征映射到通过源对比估计（SCE）优化的高维嵌入空间。
• 应用对比损失函数，使同一说话人的嵌入更接近，不同说话人的嵌入更远离。
• 采用受负采样启发的策略：对于每个目标说话人嵌入，最小化其与批次中其他说话人嵌入的相似度。
• 使用加权频谱特征和掩码优化嵌入空间，以增强说话人特异性频带分量。
• 在推理阶段与说话人身份解耦，仅使用学习到的嵌入权重进行部署，确保说话人无关性。
• 通过不在训练中使用说话人对排列来避免排列问题；相反，模型通过对比损失学习说话人的内在特征。

实验结果

研究问题

• RQ1 对比学习方法是否能将单通道语音分离性能提升至超越现有深度聚类和PIT基方法的水平？
• RQ2 通过源对比估计训练的说话人无关嵌入空间是否能实现对训练集外说话人的更好泛化？
• RQ3 对比损失函数是否能相比排列不变训练或聚类基方法降低计算开销？
• RQ4 在训练集内和训练集外说话人混合语音中，该方法在SIR提升方面相比基线方法的优越程度如何？
• RQ5 尽管仅在双说话人混合语音上进行训练，该模型在三说话人混合语音中的表现如何？

主要发现

• 所提出的SCE模型在训练集内混合语音上实现了7.69 dB的SIR提升（f+f、m+m、f+m及全部组合），优于深度聚类（7.17 dB）和PIT-S-CNN（5.69 dB）。
• 在训练集外说话人混合语音上，SCE实现了7.14 dB的SIR提升，优于深度聚类（6.66 dB）和PIT-S-CNN（5.58 dB）。
• 对于三说话人混合语音，SCE在训练集外组合上实现了4.37 dB的SIR提升，展现出超越双说话人训练的强泛化能力。
• 与深度聚类相比，SCE将训练时间减少了55%；与PIT-S-CNN相比，减少了46%；在Titan X GPU上，批量推理时间为0.21秒。
• 模型在性别平衡和同性别混合语音中均保持一致性能，男性-男性混合语音的SIR为5.48 dB，女性-女性混合语音的SIR为5.33 dB。
• 对比损失函数有效分离了向量空间中的说话人嵌入，低维投影可视化显示各说话人呈现清晰的聚类。