[论文解读] Learning acoustic word embeddings with phonetically associated triplet network

Hyungjun Lim, Younggwan Kim+3 more|arXiv (Cornell University)|Nov 7, 2018

Speech Recognition and Synthesis参考文献 25被引用 4

一句话总结

本文提出音素关联三元组网络（PATN），一种分层多任务学习框架，通过在双向LSTM架构中联合优化三元组损失和帧级交叉熵损失，提升声学词嵌入性能。该方法在唤醒词检测任务中实现每小时1.0个误报率下召回率提升20%以上，并在分布外数据上表现出优异的泛化能力。

ABSTRACT

Previous researches on acoustic word embeddings used in query-by-example spoken term detection have shown remarkable performance improvements when using a triplet network. However, the triplet network is trained using only a limited information about acoustic similarity between words. In this paper, we propose a novel architecture, phonetically associated triplet network (PATN), which aims at increasing discriminative power of acoustic word embeddings by utilizing phonetic information as well as word identity. The proposed model is learned to minimize a combined loss function that was made by introducing a cross entropy loss to the lower layer of LSTM-based triplet network. We observed that the proposed method performs significantly better than the baseline triplet network on a word discrimination task with the WSJ dataset resulting in over 20% relative improvement in recall rate at 1.0 false alarm per hour. Finally, we examined the generalization ability by conducting the out-of-domain test on the RM dataset.

研究动机与目标

• 提升声学词嵌入在示例查询语音词检测中的判别能力。
• 解决三元组网络忽略音素信息、仅依赖词级相似性的局限性。
• 增强模型在分布外数据上的泛化能力，尤其针对唤醒词检测任务。
• 通过分层多任务学习，将音素级监督整合至三元组网络中。

提出的方法

• 提出一种音素关联三元组网络（PATN），在共享的双向LSTM架构中结合三元组损失与帧级交叉熵损失。
• 引入联合损失函数：$\mathcal{L}_{PT} = (1-\lambda)\mathcal{L}_T + \lambda\mathcal{L}_{CE}$，其中$\lambda$控制词级与帧级学习之间的权衡。
• 在较低LSTM层应用交叉熵损失以建模音素变体，而在较高层使用三元组损失强制实现类间与类内嵌入分离。
• 将双向LSTM隐藏状态拼接作为最终声学词嵌入，用于余弦相似度计算。
• 采用t-SNE可视化方法定性评估嵌入聚类效果与可分性。
• 在WSJ数据集上进行训练，并在分布内（WSJ）和分布外（RM）测试集上进行评估。

实验结果

研究问题

• RQ1 联合学习音素与词级准则是否能提升声学词嵌入的判别质量？
• RQ2 引入帧级音素监督是否能增强模型在分布外唤醒词检测任务中的泛化能力？
• RQ3 与标准三元组网络相比，所提出的PATN模型在召回率与误报率方面表现如何？
• RQ4 模型是否能在不增加参数量的前提下维持性能提升？

主要发现

• 在分布内WSJ数据集上，PATN在每小时1.0个误报率下达到0.714的召回率，相比基线三元组网络实现20%以上的相对提升。
• 在分布外RM数据集上，PATN召回率达到0.582，显著优于基线的0.463，展现出强大的泛化能力。
• t-SNE可视化显示，PATN生成的词嵌入聚类更清晰、更少混淆，尤其在音素相近的词对如'give'与'get'、'have'与'how'之间表现更优。
• 采用两层BLSTM结构且$\lambda=0.1$时模型性能最佳，表明三元组损失与交叉熵损失之间存在最优权衡。
• 性能提升未伴随模型规模增加，证实了联合学习策略的有效性。