[论文解读] Acoustic Feature Learning via Deep Variational Canonical Correlation Analysis

Qingming Tang, Weiran Wang+1 more|arXiv (Cornell University)|Aug 11, 2017

Music and Audio Processing参考文献 26被引用 5

一句话总结

本论文提出深度变分典型相关分析联合私有变量（VCCAP）及其扩展方法，通过学习到的先验分布和对抗训练，从配对的语音与发音数据中学习鲁棒的声学特征。结果表明，VCCAP显著提升了与说话人无关的语音识别性能，优于MFCC和先前方法，尤其在使用学习到的先验分布时，大上下文窗口下表现更优。

ABSTRACT

We study the problem of acoustic feature learning in the setting where we have access to another (non-acoustic) modality for feature learning but not at test time. We use deep variational canonical correlation analysis (VCCA), a recently proposed deep generative method for multi-view representation learning. We also extend VCCA with improved latent variable priors and with adversarial learning. Compared to other techniques for multi-view feature learning, VCCA's advantages include an intuitive latent variable interpretation and a variational lower bound objective that can be trained end-to-end efficiently. We compare VCCA and its extensions with previous feature learning methods on the University of Wisconsin X-ray Microbeam Database, and show that VCCA-based feature learning improves over previous methods for speaker-independent phonetic recognition.

研究动机与目标

• 为解决在测试时仅能获得语音数据而训练时使用非语音模态（发音数据）的挑战，学习判别性声学特征。
• 通过引入各视图特异的私有变量，扩展深度变分CCA（VCCA），以建模共享信息与模态特异性信息。
• 通过引入学习到的先验分布和对抗训练，提升大上下文输入下的泛化能力和性能。
• 在威斯康星大学X射线微束数据库上评估该方法在与说话人无关的语音识别任务中的表现。
• 探究深度生成式多视图学习是否能在语音应用中超越传统单视图和多视图特征学习方法。

提出的方法

• VCCAP使用共享潜在变量 z 和视图特异的私有变量 hx 和 hy 建模两个视图（语音与发音），其中 p(x|z,hx) 和 p(y|z,hy) 由深度神经网络参数化。
• 模型通过优化对数似然的变分下界，实现端到端的随机梯度下降训练。
• 通过使用较小上下文窗口（W=35）的后验分布初始化较大窗口（W=71）的先验分布，引入学习到的先验分布，以提升泛化能力。
• KL散度项的权重被调整为 β=10，以增强大上下文学习中的解耦效果和稳定性。
• 通过判别器 D1 和 D2 实施对抗训练，以优化生成特征，但性能增益较小且不稳定。
• 最终特征从共享的 z 空间中提取，并用于HMM/GMM或CTC-based的语音识别器。

实验结果

研究问题

• RQ1 深度变分CCA联合私有变量（VCCAP）是否能学习到比传统方法（如MFCC或DCCA）更鲁棒的声学特征？
• RQ2 在声学特征学习中，引入学习到的先验分布如何提升大输入上下文窗口下的性能？
• RQ3 对抗训练是否能持续提升声学特征质量与下游识别准确率？
• RQ4 当结合先验适应时，VCCAP能否有效利用大上下文窗口（如W=71）以提升语音识别性能？
• RQ5 视图特异的私有变量在多大程度上提升了特征质量？它们是否可在未来语音生成任务中被有效利用？

主要发现

• VCCAP优于基础VCCA、对比学习和DCCA方法，在使用学习到的先验分布时，71帧上下文窗口下开发集词错误率（PER）达到13.2%。
• 当使用标准先验 N(0,I) 时，性能在W=15处趋于饱和，并在W=71时开始下降；但使用学习到的先验后性能显著提升。
• 增加KL散度权重（β=10）可提升大窗口下的性能，尤其在结合学习到的先验时效果更明显。
• 引入对抗训练的扩展方法（VCCAP+GAN）仅带来微小增益（PER改善0.1–0.4%），且稳定性不如先验学习方法。
• 性能最佳的模型在W=71且使用学习到的先验时，开发集PER达到13.2%，证明了先验适应在大上下文学习中的有效性。
• 结果表明，未来研究中循环模型可能有助于处理极长上下文窗口。