[论文解读] Generalized Multichannel Variational Autoencoder for Underdetermined Source Separation

Shogo Seki, Hirokazu Kameoka+3 more|arXiv (Cornell University)|Sep 29, 2018

Speech and Audio Processing被引用 12

一句话总结

该论文提出了一种广义多通道变分自编码器（GMVAE），这是一种用于欠定多通道语音分离的新框架，通过使用条件变分自编码器（CVAE）替代传统的非负矩阵分解（NMF）源模型，以更好地捕捉复杂的谱时域模式。在欠定条件下（3个声源由2个麦克风接收），GMVAE在混响环境中的分离性能优于MNMF，这得益于深度生成建模更强的表征能力。

ABSTRACT

This paper deals with a multichannel audio source separation problem under underdetermined conditions. Multichannel Non-negative Matrix Factorization (MNMF) is one of powerful approaches, which adopts the NMF concept for source power spectrogram modeling. This concept is also employed in Independent Low-Rank Matrix Analysis (ILRMA), a special class of the MNMF framework formulated under determined conditions. While these methods work reasonably well for particular types of sound sources, one limitation is that they can fail to work for sources with spectrograms that do not comply with the NMF model. To address this limitation, an extension of ILRMA called the Multichannel Variational Autoencoder (MVAE) method was recently proposed, where a Conditional VAE (CVAE) is used instead of the NMF model for source power spectrogram modeling. This approach has shown to perform impressively in determined source separation tasks thanks to the representation power of DNNs. While the original MVAE method was formulated under determined mixing conditions, this paper generalizes it so that it can also deal with underdetermined cases. We call the proposed framework the Generalized MVAE (GMVAE). The proposed method was evaluated on a underdetermined source separation task of separating out three sources from two microphone inputs. Experimental results revealed that the GMVAE method achieved better performance than the MNMF method.

研究动机与目标

• 为解决多通道NMF（MNMF）和ILRMA在建模不符合NMF假设的谱图时的局限性。
• 将原本专为确定性条件设计的多通道变分自编码器（MVAE）扩展至欠定源分离任务。
• 利用条件变分自编码器（CVAE）进行深度生成建模，以实现多通道音频中更灵活、更精确的源功率谱图估计。
• 开发一种统一的优化框架，确保收敛性，并实现混合矩阵、源方差和VAE参数的联合估计。

提出的方法

• GMVAE框架将MNMF中基于NMF的源模型替换为条件变分自编码器（CVAE），该CVAE以说话人身份作为条件，对各个源的功率谱图进行建模。
• CVAE由编码器网络和解码器网络组成：编码器将源谱图映射为潜在向量，解码器则从潜在码重建谱图，两者均在带有说话人标签的语音数据上进行训练。
• 该方法构建了一个变分下界（ELBO），联合优化混合矩阵A(f)、源方差v_j(f,n)以及VAE参数(ϕ, θ)，并施加源功率和稀疏性约束。
• 采用凸包最小化算法迭代优化ELBO，通过反向传播和闭式解分别更新混合矩阵、源方差和VAE参数。
• 通过在源类别嵌入c_j上添加Softmax层，强制CVAE实现类别条件生成，确保对说话人特异性谱图的准确类别建模。
• 算法以MNMF基线进行初始化，并通过迭代方式优化，其收敛性在凸包最小化框架下得到保证。

实验结果

研究问题

• RQ1 深度生成模型如CVAE是否能在欠定多通道语音分离任务中超越传统的基于NMF的模型？
• RQ2 当源谱图违反NMF模型假设时，CVAE的表征能力如何提升分离性能？
• RQ3 所提出的GMVAE框架在源数超过麦克风数的欠定条件下是否保持收敛性和稳定性？
• RQ4 在不同混响条件下，GMVAE与MNMF在分离质量方面相比如何？

主要发现

• 在低混响（T60 = 78 ms）和高混响（T60 = 351 ms）条件下，GMVAE在SDR、SIR、ISR和SAR等指标上均显著优于MNMF。
• 在高混响条件（T60 = 351 ms）下性能提升最为显著，此时MNMF因NMF模型僵化而表现受限，而GMVAE的灵活CVAE模型能有效适应。
• 在CVAE中引入说话人身份作为条件，实现了对说话人特异性谱图的精确建模，从而提升了分离精度。
• 在所有评估指标上，该方法均优于两个MNMF基线（MNMF1和MNMF2），SDR和SIR指标持续获得提升。
• 在凸包最小化框架下，算法实现了稳定收敛，且基于MNMF的初始化显著提升了最终性能。
• 结果证实，通过CVAE进行深度生成建模是多通道盲源分离中源功率谱图建模的有力替代方案，优于NMF。