[论文解读] Frame-level speaker embeddings for text-independent speaker recognition and analysis of end-to-end model

Suwon Shon, Hao Tang+1 more|arXiv (Cornell University)|Sep 12, 2018

Speech Recognition and Synthesis参考文献 11被引用 5

一句话总结

该论文提出了一种基于1D-CNN的端到端说话人识别模型，通过在线性激活函数提取帧级说话人嵌入，以提升在文本无关场景下的鲁棒性。该模型在VoxCeleb1数据集上（EER: 6.2%）优于x-vectors，并揭示了深层网络通过广泛音位类别（如阻碍音/响音）编码说话人身份，而非单个音素，且帧级余弦相似度即使在不同音素间也显示出强烈的说话人特异性模式。

ABSTRACT

In this paper, we propose a Convolutional Neural Network (CNN) based speaker recognition model for extracting robust speaker embeddings. The embedding can be extracted efficiently with linear activation in the embedding layer. To understand how the speaker recognition model operates with text-independent input, we modify the structure to extract frame-level speaker embeddings from each hidden layer. We feed utterances from the TIMIT dataset to the trained network and use several proxy tasks to study the networks ability to represent speech input and differentiate voice identity. We found that the networks are better at discriminating broad phonetic classes than individual phonemes. In particular, frame-level embeddings that belong to the same phonetic classes are similar (based on cosine distance) for the same speaker. The frame level representation also allows us to analyze the networks at the frame level, and has the potential for other analyses to improve speaker recognition.

研究动机与目标

• 开发一种在文本无关语音中具有良好泛化能力的鲁棒端到端说话人识别模型。
• 理解深度神经网络如何在不依赖语音内容的情况下编码说话人身份。
• 分析不同网络层中帧级嵌入的表征行为。
• 探究在说话人识别中，音位类别级表征是否比单个音素表征更具判别性。
• 评估帧级嵌入在捕捉不同语音内容下说话人特异性特征方面的有效性。

提出的方法

• 使用包含四个卷积层（滤波器大小：40×5, 1000×7, 1000×1, 1000×1）和两个全连接层（1500, 600）的1D-CNN架构处理40维MFCC特征。
• 在最终嵌入层应用线性激活函数，以保留判别性信息并提升鲁棒性。
• 通过修改网络结构以保持时间分辨率，从每个隐藏层提取帧级嵌入。
• 在最后一层卷积层后应用统计池化，随后进行LDA和PLDA以用于下游验证任务。
• 在VoxCeleb1（1,211名说话人）上使用SGD进行训练，学习率衰减与数据增强。
• 通过代理任务（音素识别、宽泛类别分类）和余弦相似度分析评估帧级表征。

实验结果

研究问题

• RQ1 不同网络层中的帧级说话人嵌入在表征说话人身份方面有何差异？
• RQ2 在文本无关设置下，说话人识别模型在多大程度上依赖于音位类别差异而非单个音素身份？
• RQ3 哪些音位类别或特定音素在帧级上对说话人判别贡献最大？
• RQ4 帧级嵌入的相似性在不同语音中与说话人身份的相关性如何？
• RQ5 能否通过t-SNE和余弦相似度矩阵有意义地可视化和解释网络对语音内容的表征？

主要发现

• 所提模型在VoxCeleb1测试集上达到6.2%的EER，优于相同评估协议下的x-vectors。
• 来自更高层（如第6层）的帧级嵌入在说话人判别上显著优于低层，表明说话人身份被逐步抽象化。
• 帧级嵌入之间的余弦相似度在相同说话人之间以及属于同一宽泛音位类别的音素（如/s/和/z/）之间最高，即使音素本身不同。
• 模型的表征在深层网络中逐渐收敛至阻碍音和响音类别，表明说话人身份在比音素层面更高的音位抽象层次上被编码。
• 元音和鼻音最常与最高的余弦相似度得分相关联，表明其在说话人判别中的重要性。
• 相似度矩阵显示，阻碍音（如擦音、塞音）即使在不同说话人之间也表现出相对较高的相似度，表明其在嵌入空间中具有共享的声学特征。