[论文解读] Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam

Marc Delcroix, Tsubasa Ochiai+5 more|arXiv (Cornell University)|Jan 23, 2020

Speech and Audio Processing参考文献 24被引用 12

一句话总结

本文提出了一种时域实现的SpeakerBeam（TD-SpeakerBeam），通过时域网络、基于内部组合的空间特征融合以及多任务说话人识别损失，显著提升了目标语音分离中的说话人区分能力，尤其在同性别混合语音中表现更优。与频域SpeakerBeam及TasNet基线模型相比，该方法在平均信噪比（SDR）上提升达1 dB，显著缩小了同性别与异性别混合语音之间的性能差距。

ABSTRACT

Target speech extraction, which extracts a single target source in a mixture given clues about the target speaker, has attracted increasing attention. We have recently proposed SpeakerBeam, which exploits an adaptation utterance of the target speaker to extract his/her voice characteristics that are then used to guide a neural network towards extracting speech of that speaker. SpeakerBeam presents a practical alternative to speech separation as it enables tracking speech of a target speaker across utterances, and achieves promising speech extraction performance. However, it sometimes fails when speakers have similar voice characteristics, such as in same-gender mixtures, because it is difficult to discriminate the target speaker from the interfering speakers. In this paper, we investigate strategies for improving the speaker discrimination capability of SpeakerBeam. First, we propose a time-domain implementation of SpeakerBeam similar to that proposed for a time-domain audio separation network (TasNet), which has achieved state-of-the-art performance for speech separation. Besides, we investigate (1) the use of spatial features to better discriminate speakers when microphone array recordings are available, (2) adding an auxiliary speaker identification loss for helping to learn more discriminative voice characteristics. We show experimentally that these strategies greatly improve speech extraction performance, especially for same-gender mixtures, and outperform TasNet in terms of target speech extraction.

研究动机与目标

• 为解决在说话人语音特征相似（尤其是同性别混合）时目标语音分离中说话人区分能力差的问题。
• 通过将SpeakerBeam从频域处理迁移至时域处理，利用时域神经网络（如TasNet）的优势，提升SpeakerBeam的性能。
• 通过内部组合机制而非输入级融合，利用麦克风阵列提供的空间特征，增强说话人区分能力。
• 通过引入结合语音重建与说话人识别目标的多任务损失，提升说话人嵌入的质量。
• 探究训练数据多样性（特别是说话人数量）对说话人区分性能的影响。

提出的方法

• 提出TD-SpeakerBeam，一种SpeakerBeam的时域实现，直接处理原始音频信号，用时域波形替代频域谱图。
• 用卷积网络替代序列摘要网络，以从自适应语音中提取更丰富、更具判别性的说话人嵌入向量。
• 引入内部组合机制，整合来自麦克风阵列的双耳相位差（IPD）特征，使网络架构内更有效地利用空间特征。
• 采用多任务损失，结合语音重建损失与说话人识别损失（SI-loss），促使模型学习更具判别性的说话人嵌入。
• 采用两阶段训练策略：首先使用SI-loss预训练说话人嵌入提取器，然后通过联合损失优化微调完整系统。
• 在单麦克风与多麦克风设置下应用该方法，评估不同性别组合与不同训练数据规模下的性能。

实验结果

研究问题

• RQ1 与频域实现相比，SpeakerBeam的时域实现是否能提升目标语音分离性能？
• RQ2 通过内部组合机制整合麦克风阵列的空间特征，是否能增强说话人区分能力，特别是在同性别混合中？
• RQ3 结合语音重建与说话人识别的多任务损失，是否能提升说话人嵌入的判别质量？
• RQ4 训练说话人数量如何影响同性别与异性别混合语音中目标语音分离的性能差距？
• RQ5 在复杂条件下，该方法是否优于先进行语音分离再选择目标说话人的最先进系统？

主要发现

• TD-SpeakerBeam在MC-WSJ0-2mix数据集上平均SDR达到11.17 dB，优于频域SpeakerBeam（FD-SpeakerBeam）的10.27 dB，也优于基于TasNet的基线模型。
• TD-SpeakerBeam中IPD特征的内部组合使SDR最高提升1 dB，平均SDR达11.45 dB，优于输入级组合方式。
• 引入SI-loss后，SDR提升稳定达1 dB，尤其在同性别混合中表现更优；在使用937名训练说话人时，CSJ-2mix数据集上平均SDR达17.81 dB。
• 随着训练说话人数量增加，TD-SpeakerBeam性能显著提升，尤其在同性别混合中；而TasNet性能基本不变，表明SpeakerBeam更受益于说话人多样性。
• 该方法显著减少了同性别混合中的处理失败（SDR提升≤0 dB）情况，使用937名训练说话人与SI-loss时，所有性别组合下均表现出最一致、最鲁棒的性能。