[论文解读] Semi-blind source separation with multichannel variational autoencoder

Hirokazu Kameoka, Li Li+2 more|arXiv (Cornell University)|Aug 2, 2018

Speech and Audio Processing参考文献 23被引用 36

一句话总结

本文提出多通道变分自编码器（MVAE），一种半盲源分离方法，利用条件变分自编码器（CVAE）对源信号的功率谱图进行建模，通过类别条件生成实现收敛性保证的分离，通过迭代估计谱图与分离矩阵完成。MVAE在自由场与混响环境下均优于基线方法ILRMA，在分离质量上表现更优，展示了具备收敛性保证的深度生成建模的优越性能。

ABSTRACT

This paper proposes a multichannel source separation technique called the multichannel variational autoencoder (MVAE) method, which uses a conditional VAE (CVAE) to model and estimate the power spectrograms of the sources in a mixture. By training the CVAE using the spectrograms of training examples with source-class labels, we can use the trained decoder distribution as a universal generative model capable of generating spectrograms conditioned on a specified class label. By treating the latent space variables and the class label as the unknown parameters of this generative model, we can develop a convergence-guaranteed semi-blind source separation algorithm that consists of iteratively estimating the power spectrograms of the underlying sources as well as the separation matrices. In experimental evaluations, our MVAE produced better separation performance than a baseline method.

研究动机与目标

• 解决传统盲源分离方法依赖刚性模型（如NMF）或使用深度神经网络时缺乏收敛性保证的局限性。
• 开发一种利用深度生成模型表征能力的同时确保算法收敛性的源分离框架。
• 统一源模型的训练目标与分离算法的优化准则，以提升整体性能。
• 通过类别条件谱图生成，实现在自由场与混响环境中均有效的源信号分离。

提出的方法

• 该方法采用条件变分自编码器（CVAE）对源信号的功率谱图进行建模，条件为源信号类别标签（如说话人身份）。
• CVAE在带标签的训练谱图上进行训练，以学习一个通用的生成模型，可为任意给定类别生成谱图。
• 分离算法通过固定点更新规则，迭代估计潜在变量与类别标签，同时更新分离矩阵。
• 该算法将潜在空间与类别标签视为未知参数，实现与收敛性保证的联合优化。
• 在优化过程中使用Softmax层以确保类别概率之和为1。
• 该方法将CVAE的生成模型整合进半盲源分离框架，使VAE的训练目标与分离目标保持一致。

实验结果

研究问题

• RQ1 能否使用类似CVAE的深度生成模型对源谱图进行建模，从而在半盲源分离设置中保证收敛性？
• RQ2 与基于NMF的传统方法（如ILRMA）相比，引入基于CVAE的源模型是否能提升分离性能？
• RQ3 能否将CVAE的训练目标与源分离的优化过程对齐，以增强整体性能？
• RQ4 在不同混响时间等声学条件下，MVAE的性能表现如何？
• RQ5 通过类别条件生成，该方法能否对未见过的源信号实现泛化？

主要发现

• 在所有说话人对与混响条件下，MVAE在平均SDR、SIR与SAR指标上显著优于ILRMA基线。
• 在RT60为78 ms（自由场）时，MVAE的平均SDR、SIR与SAR均高于ILRMA，表明其在低混响环境下的鲁棒性。
• 在RT60为351 ms（高度混响）时，MVAE仍优于ILRMA，尽管两种方法性能均有所下降，表明在去混响集成方面仍有改进空间。
• 该方法因CVAE能够建模超越NMF假设的复杂谱图结构，从而实现更优的分离质量。
• 由于CVAE训练与源分离过程的优化准则保持一致，算法的收敛性得到保证。
• 通过类别条件生成，该方法成功为未见过的源信号生成高质量谱图，展现出良好的泛化能力。