[论文解读] Discriminative Acoustic Word Embeddings: Recurrent Neural Network-Based Approaches

Shane Settle, Karen Livescu|arXiv (Cornell University)|Nov 8, 2016

Music and Audio Processing参考文献 24被引用 41

一句话总结

本文提出一种基于循环神经网络（RNN）的声学词嵌入（AWE），采用判别性损失进行训练——具体而言，在孪生网络结构中使用对比损失，在分类器结构中使用交叉熵损失，以提升语音中词的判别能力。孪生RNN模型在词判别任务上优于先前的CNN基方法和基于分类器的RNN模型，实现了该任务的最先进性能，即使在低维嵌入下也表现出强鲁棒性，并且对未见词具有更好的泛化能力。

ABSTRACT

Acoustic word embeddings --- fixed-dimensional vector representations of variable-length spoken word segments --- have begun to be considered for tasks such as speech recognition and query-by-example search. Such embeddings can be learned discriminatively so that they are similar for speech segments corresponding to the same word, while being dissimilar for segments corresponding to different words. Recent work has found that acoustic word embeddings can outperform dynamic time warping on query-by-example search and related word discrimination tasks. However, the space of embedding models and training approaches is still relatively unexplored. In this paper we present new discriminative embedding models based on recurrent neural networks (RNNs). We consider training losses that have been successful in prior work, in particular a cross entropy loss for word classification and a contrastive loss that explicitly aims to separate same-word and different-word pairs in a "Siamese network" training setting. We find that both classifier-based and Siamese RNN embeddings improve over previously reported results on a word discrimination task, with Siamese RNNs outperforming classification models. In addition, we present analyses of the learned embeddings and the effects of variables such as dimensionality and network structure.

研究动机与目标

• 探索基于RNN的模型在学习判别性声学词嵌入（AWE）方面的有效性，以捕捉语音词段之间的语义与发音相似性。
• 比较两种训练范式——孪生网络结合对比损失，以及基于分类器的训练结合交叉熵损失——在学习AWE中的表现。
• 评估网络深度、嵌入维度和训练词汇频率对AWE性能的影响。
• 分析所学嵌入的结构与几何特性，特别是其保持发音相似或相异词之间相对距离的能力。

提出的方法

• 本文采用深层LSTM和GRU基RNN将可变长度语音段编码为固定维嵌入。
• 训练两种模型：一种是使用对比损失的孪生网络，以最小化同类（同词）距离并最大化异类（不同词）距离；另一种是使用交叉熵损失的分类器，用于预测词身份。
• 孪生网络在所有训练样本的可能配对上进行训练，有效增强了训练信号，从而更好地建模词之间的相对相似性。
• 网络架构包括堆叠的RNN层（最多3层）后接全连接层，并通过消融实验研究层数及其对性能的影响。
• 通过在词判别任务上的平均精度（AP）评估嵌入质量，并利用t-SNE可视化分析聚类结构与聚间距离。
• 实验在标准基准数据集上进行，与先前的CNN基AWE及基线方法（如动态时间规整DTW）进行比较。

实验结果

研究问题

• RQ1 基于RNN的模型是否能在词判别任务中优于先前的CNN基声学词嵌入？
• RQ2 与基于分类器的交叉熵损失相比，采用孪生对比损失训练是否能带来对未见词更好的泛化能力？
• RQ3 架构选择（如堆叠RNN层和全连接层的数量）如何影响所学嵌入的质量？
• RQ4 嵌入对维度降低的鲁棒性如何？其性能良好的最低有效维度是多少？
• RQ5 训练频率与词暴露程度在多大程度上影响嵌入质量，特别是对罕见或未见词的影响？

主要发现

• 使用对比损失的孪生RNN模型在开发集上达到最高的平均精度，优于基于分类器的RNN和先前的CNN基AWE。
• 在所有嵌入维度≥16的情况下，孪生RNN均表现更优，且在每个维度上均超过先前报道的CNN基结果。
• 采用3层堆叠RNN和2–3层全连接层的模型表现最佳，表明全连接层对性能的影响大于额外的堆叠RNN层。
• 随着词的训练频率提高，性能提升，且由于配对训练机制，孪生模型从更高频率中获益更多。
• t-SNE可视化显示，孪生嵌入能更好地保持词聚类之间的相对距离，尤其在发音相似或相异的词对（如'programs'与'problem'）中表现更优。
• 与基于分类器的方法相比，该模型对未见词的泛化能力更强，表明对比学习能更好地捕捉词的内在相似性，而不仅限于身份分类。