[论文解读] A Correspondence Variational Autoencoder for Unsupervised Acoustic Word Embeddings

Puyuan Peng, Herman Kamper+1 more|arXiv (Cornell University)|Dec 3, 2020

Speech Recognition and Synthesis参考文献 40被引用 8

一句话总结

本文提出了一种最大采样对应变分自编码器（MCVAE），这是一种自监督生成模型，能够从可变长度的语音片段中学习固定维度的语音词嵌入，且无需转录数据。通过多次采样潜在表示并利用一种新型损失函数强制实现对应关系，MCVAE 在零资源和低资源设置下的词辨识任务中均优于先前的无监督与半监督模型，实现了当前最优性能，甚至在英语Buckeye语料库上超越了动态时间规整（DTW）方法。

ABSTRACT

We propose a new unsupervised model for mapping a variable-duration speech segment to a fixed-dimensional representation. The resulting acoustic word embeddings can form the basis of search, discovery, and indexing systems for low- and zero-resource languages. Our model, which we refer to as a maximal sampling correspondence variational autoencoder (MCVAE), is a recurrent neural network (RNN) trained with a novel self-supervised correspondence loss that encourages consistency between embeddings of different instances of the same word. Our training scheme improves on previous correspondence training approaches through the use and comparison of multiple samples from the approximate posterior distribution. In the zero-resource setting, the MCVAE can be trained in an unsupervised way, without any ground-truth word pairs, by using the word-like segments discovered via an unsupervised term discovery system. In both this setting and a semi-supervised low-resource setting (with a limited set of ground-truth word pairs), the MCVAE outperforms previous state-of-the-art models, such as Siamese-, CAE- and VAE-based RNNs.

研究动机与目标

• 开发一种稳健的无监督方法，从可变长度的语音片段中学习固定维度的语音词嵌入，且无需转录数据。
• 通过从后验分布中采样多个样本，改进现有基于对应关系的模型，以稳定训练并增强嵌入的一致性。
• 在仅能获取来自无监督术语发现系统的词类片段的低资源与零资源语言设置中，实现有效学习。
• 在无监督与半监督设置下评估性能，与当前最优模型（如SiameseRNN、CAE-RNN和基于VAE的方法）进行比较。
• 证明基于对应损失的生成建模可超越判别式与自编码基线模型，甚至在标准基准上超越DTW。

提出的方法

• MCVAE 是一种基于循环神经网络的变分自编码器，能够学习从语音片段到固定维度潜在嵌入的概率映射。
• 它采用一种新颖的自监督对应损失，鼓励同一词类的不同实例即使从不同输入片段重建，也能获得相似的潜在表示。
• 该模型通过从近似后验分布中多次采样并比较所得嵌入，以强制实现一致性，从而在先前对应训练的基础上实现改进。
• 在无监督设置中，词对来自无监督术语发现（UTD）系统，无需真实对齐数据。
• 在半监督设置中，模型通过少量真实词对进行微调，以分析数据效率与分布鲁棒性。
• 训练目标结合了重建损失与对应损失，后者通过最小化不同输入对中同一词实例的嵌入间距离来实现。

实验结果

研究问题

• RQ1 与单样本基线相比，具有多个后验样本的生成模型是否能提升无监督语音词嵌入的一致性与质量？
• RQ2 在零资源设置下，所提出的对应损失是否能优于现有的自编码器、VAE和Siamese基线模型，在词辨识任务中表现更优？
• RQ3 在仅含少量真实词对的半监督设置下，MCVAE 的表现如何？与 SiameseRNN 等判别式模型相比，其在数据效率与数据分布鲁棒性方面表现如何？
• RQ4 无监督语音词嵌入模型是否能在不使用任何转录数据的情况下，超越传统序列对齐方法（如DTW）？
• RQ5 在低资源场景下，不同训练数据分布（如平衡对与随机对）对模型性能有何影响？

主要发现

• 在无监督设置下，MCVAE 在英语Buckeye语料库上达到37.6%的平均精确率，优于次优模型CAE-RNN的11.3%相对提升，并超越了使用完整序列的强基线DTW。
• 在Xitsonga语料库上，MCVAE 达到40.2%的平均精确率，相较CAE-RNN实现37.9%的相对提升，表明其在多语言场景下具有强大的泛化能力。
• 在半监督设置下，MCVAE 是数据效率最高的模型，即使仅使用1,000对真实词对，也能保持一致的性能提升，并在平衡与非平衡数据分布下均表现稳健。
• 采用更大批量大小的MCVAE进一步提升性能，英语语料库达到39.5%，Xitsonga语料库达到44.4%，表明其具备可扩展性并对训练配置敏感。
• SiameseRNN 在无监督设置下表现欠佳，可能因其依赖高质量训练对；而MCVAE 即使在UTD发现的弱监督对上仍保持高效。
• MCVAE 是首个在Buckeye语料库上超越DTW的无监督AWE模型，标志着零资源语音表征学习的重要进展。