[论文解读] Deep factorization for speech signal

Lantian Li, Dong Wang+4 more|arXiv (Cornell University)|Feb 27, 2018

Speech and Audio Processing被引用 5

一句话总结

本文提出了一种级联深度分解（CDF）框架，通过深度神经网络将语音信号逐级分解为独立的任务导向成分——语言内容、说话人特征和情感——实现高保真度的语音谱重建，并显著提升情感与说话人识别任务的性能。

ABSTRACT

Various informative factors mixed in speech signals, leading to great difficulty when decoding any of the factors. An intuitive idea is to factorize each speech frame into individual informative factors, though it turns out to be highly difficult. Recently, we found that speaker traits, which were assumed to be long-term distributional properties, are actually short-time patterns, and can be learned by a carefully designed deep neural network (DNN). This discovery motivated a cascade deep factorization (CDF) framework that will be presented in this paper. The proposed framework infers speech factors in a sequential way, where factors previously inferred are used as conditional variables when inferring other factors. We will show that this approach can effectively factorize speech signals, and using these factors, the original speech spectrum can be recovered with a high accuracy. This factorization and reconstruction approach provides potential values for many speech processing tasks, e.g., speaker recognition and emotion recognition, as will be demonstrated in the paper.

研究动机与目标

• 为解决语音信号中混合的多种信息因子（如说话人身份、情感和语言内容）带来的挑战。
• 探究尽管因子混合复杂，是否仍可有效实现语音信号在帧级的因子分解。
• 通过利用主要因子的条件推断，提升低资源或困难语音处理任务（如情感识别）的性能。
• 证明可从分解后的因子组件中高保真度重建原始语音谱，验证因子分解的信息保留能力。

提出的方法

• CDF框架以级联顺序推断因子：首先使用自动语音识别系统（ASR）生成音素后验概率，提取语言内容因子。
• 随后将语言因子作为条件输入，训练说话人识别系统（SRE），采用CT-DNN架构生成帧级说话人特征。
• 将所得的语言因子与说话人因子拼接后，作为输入送入DNN，推断帧级情感后验概率。
• 通过级联卷积模型从三种因子类型中重建原始语音谱，训练时使用均方误差损失。
• 该框架采用条件建模方法，每个因子的推断均基于先前推断的因子，从而降低不确定性。
• CT-DNN结构结合卷积层与时间延迟层，并采用P-范数池化，以提取具有判别性的短时说话人特征。

实验结果

研究问题

• RQ1 能否在帧级有效分解语音信号为独立的信息成分（如语言、说话人、情感）？
• RQ2 是否通过将较不显著因子（如情感）的推断条件化于更显著因子（如说话人、语言内容）可提升性能？
• RQ3 从分解后的因子组件中，原始语音谱能在多大程度上被重建？
• RQ4 CDF方法在情感与说话人识别任务中与基线方法相比表现如何？
• RQ5 级联推断策略是否在复杂语音因子分解中优于独立分解或端到端学习？

主要发现

• 当同时使用语言和说话人因子作为条件时，CDF方法在情感识别任务中实现了94.59%的帧级准确率和92.98%的宏平均精确率（MAP）。
• 在测试集上，使用双条件的CDF模型实现了27.32%的帧级准确率和29.42%的MAP，显著优于基线的23.39%和21.08%。
• 在验证集上，谱重建损失从15,285.70降低至192.50，测试损失为196.56，表明重建保真度极高。
• 听音测试确认，重建语音与原始语音几乎无法区分，证明了信息保留的有效性。
• 在情感识别中，说话人因子对性能提升的贡献大于语言因子，表明说话人特征是强有力的条件先验。
• 即使使用8 kHz而非16 kHz的音频，CDF框架在相同任务上仍优于MEC 2016基线，表明其鲁棒性与有效性。