[论文解读] Improved Audio Embeddings by Adjacency-Based Clustering with Applications in Spoken Term Detection

Sung-Feng Huang, Yi‐Chen Chen+2 more|arXiv (Cornell University)|Nov 7, 2018

Speech Recognition and Synthesis参考文献 19被引用 5

一句话总结

该论文提出一种无监督方法，通过利用相邻音频片段的聚类和无标签数据上的孪生网络训练，改进音频嵌入表示，实现说话人特征的解耦并处理类别不平衡问题。该方法在LibriSpeech数据集上显著提升了聚类紧凑性与语音词检测性能，当k=60时，平均平均精度最高达到37.00%。

ABSTRACT

Embedding audio signal segments into vectors with fixed dimensionality is attractive because all following processing will be easier and more efficient, for example modeling, classifying or indexing. Audio Word2Vec previously proposed was shown to be able to represent audio segments for spoken words as such vectors carrying information about the phonetic structures of the signal segments. However, each linguistic unit (word, syllable, phoneme in text form) corresponds to unlimited number of audio segments with vector representations inevitably spread over the embedding space, which causes some confusion. It is therefore desired to better cluster the audio embeddings such that those corresponding to the same linguistic unit can be more compactly distributed. In this paper, inspired by Siamese networks, we propose some approaches to achieve the above goal. This includes identifying positive and negative pairs from unlabeled data for Siamese style training, disentangling acoustic factors such as speaker characteristics from the audio embedding, handling unbalanced data distribution, and having the embedding processes learn from the adjacency relationships among data points. All these can be done in an unsupervised way. Improved performance was obtained in preliminary experiments on the LibriSpeech data set, including clustering characteristics analysis and applications of spoken term detection.

研究动机与目标

• 在无需人工标注数据的前提下，提升低资源语音语言应用中的音频嵌入质量。
• 使音频嵌入聚类更加紧凑，从而使同一语言单元（如单词）的不同实现形式在向量空间中更接近。
• 利用无标签数据上的孪生风格对比学习，学习具有判别性的音频表示。
• 在音频嵌入空间中将说话人相关特征与语言内容解耦。
• 处理语音词检测任务中不均衡的数据分布问题。

提出的方法

• 利用序列中相邻音频片段识别出正样本对与负样本对，无需标签即可训练孪生网络。
• 应用对比损失函数（公式3），使相邻片段的嵌入更接近，而使远距离样本的嵌入相互远离。
• 引入解耦模块，将嵌入空间中的说话人相关因素与语言内容分离。
• 采用基于聚类的评估策略，通过归一化聚类分配数量评估嵌入质量。
• 使用查询词嵌入与文档词嵌入之间的余弦相似度对文档进行排序，用于语音词检测。
• 将同一语音中相邻的音频片段视为正样本对，非相邻片段视为负样本对，用于自监督学习。

实验结果

研究问题

• RQ1 在未分割的音频序列中，能否利用相邻关系生成有效的正负样本对用于无标签数据的孪生网络训练？
• RQ2 将说话人特征与语言内容解耦，是否能提升音频嵌入在聚类与检索任务中的质量？
• RQ3 所提出的无监督方法在语音词检测准确率上与基线方法相比表现如何？
• RQ4 处理类别不平衡在多大程度上提升了音频嵌入聚类性能？
• RQ5 该方法在低资源语言应用中是否能优于现有无监督音频嵌入技术？

主要发现

• 在所有测试的聚类数（n）下，该方法均取得了最高的聚类准确率，相比基线方法稳定提升最多1.22%。
• 使用该方法生成的嵌入在语音词检测任务中，当k=60时达到37.00%的平均平均精度，比基线高出1.22个百分点。
• 在k=40时，性能相比基线提升0.97%，表明当k与文档中平均话语数匹配时性能达到最优。
• 特征解耦与孪生网络训练相结合带来了显著性能提升，完整方法（d）优于基线（a）和仅解耦（b）的变体。
• 在较高k值时性能提升最为明显，表明该方法能更好地捕捉多个词实现之间的语义相似性。
• 结果表明，基于邻接关系的聚类与自监督孪生学习相结合，可在无监督设置下生成更紧凑且更具判别性的音频嵌入。