[论文解读] Deep Learning Based Phase Reconstruction for Speaker Separation: A Trigonometric Perspective

Zhong-Qiu Wang, Ke Tan+1 more|arXiv (Cornell University)|Nov 22, 2018

Speech and Audio Processing参考文献 32被引用 8

一句话总结

本文提出了一种基于三角函数的相位重建方法，用于基于深度学习的单通道语音分离任务，其在STFT域中实现。通过利用几何约束和相位差关系，将每个时频单元的候选相位减少至两个，并结合迭代重建、群延迟估计和相位符号预测，选择正确的相位，从而在WSJ0-2mix和3mix数据集上实现了最先进性能。

ABSTRACT

This study investigates phase reconstruction for deep learning based monaural talker-independent speaker separation in the short-time Fourier transform (STFT) domain. The key observation is that, for a mixture of two sources, with their magnitudes accurately estimated and under a geometric constraint, the absolute phase difference between each source and the mixture can be uniquely determined; in addition, the source phases at each time-frequency (T-F) unit can be narrowed down to only two candidates. To pick the right candidate, we propose three algorithms based on iterative phase reconstruction, group delay estimation, and phase-difference sign prediction. State-of-the-art results are obtained on the publicly available wsj0-2mix and 3mix corpus.

研究动机与目标

• 为解决单通道语音分离中的相位重建挑战，即在估计幅度谱的同时，相位存在模糊性。
• 通过利用源信号与混合信号之间的几何和三角关系，解决源信号相位估计中的模糊性问题。
• 开发一种相位重建框架，以在不依赖额外训练数据或显式相位建模的情况下，提升语音分离质量。
• 仅使用幅度估计和相位重建，在WSJ0-2mix和3mix等标准基准上实现最先进性能。

提出的方法

• 该方法在STFT域中利用几何约束，证明在幅度估计准确的前提下，每个源信号与混合信号之间的绝对相位差是唯一确定的。
• 通过从混合模型中推导出的三角恒等式，将每个时频单元的可能相位候选数减少至仅两个。
• 提出了三种算法：基于幅度和相位约束的迭代相位重建算法、用于引导相位选择的群延迟估计，以及通过深度学习预测相位差符号的算法。
• 该方法完全在STFT域中运行，无需对分离网络进行端到端训练，可无缝集成至现有的基于幅度的模型中。
• 相位重建作为后处理步骤执行，仅使用估计的幅度和推导出的几何约束来解决相位模糊性。
• 该方法在WSJ0-2mix和3mix数据集上进行了评估，结果表明其具有鲁棒性，并显著优于先前的相位重建技术。

实验结果

研究问题

• RQ1 在STFT域中，几何与三角约束是否能唯一确定源信号与混合信号之间的相位差？
• RQ2 如何仅通过幅度估计和信号几何关系，将每个时频单元的相位模糊性从无穷多个候选减少至仅两个？
• RQ3 在不使用显式相位建模的前提下，有哪些有效策略可从两个可能的相位候选中选择正确的一个？
• RQ4 所提出的相位重建方法在标准基准上对语音分离质量的提升程度如何？
• RQ5 该方法是否能在不重新训练分离网络或使用相位监督的情况下实现最先进性能？

主要发现

• 所提方法在WSJ0-2mix和3mix数据集上实现了最先进性能，优于现有相位重建技术。
• 通过利用几何约束，每个源信号与混合信号之间的相位差被唯一确定，相位模糊性被减少至每个时频单元仅两个候选。
• 迭代相位重建算法能有效收敛至正确相位解，显著提升主观质量与客观指标。
• 群延迟估计与相位符号预测进一步提升了准确性，尤其在低信噪比条件下表现更优。
• 该方法作为后处理步骤具有有效性，可在不修改底层基于幅度的分离模型的前提下提升分离效果。
• 该方法在不同数量的说话人（包括双源与三源混合）中均表现出鲁棒性与良好的泛化能力。