[论文解读] Learning Speaker Representation with Semi-supervised Learning approach for Speaker Profiling

Shangeth Rajaa, Pham Van Tung+1 more|arXiv (Cornell University)|Oct 24, 2021

Speech Recognition and Synthesis被引用 6

一句话总结

本文提出了一种半监督学习框架，通过联合训练监督式说话人属性（年龄、身高、性别）与使用原始音频的无监督说话人表征学习，提升了说话人画像性能。通过引入一致性训练和互信息最大化，该模型在TIMIT数据集上取得了最先进结果，男性和女性年龄估计的RMSE分别为6.8岁和7.4岁。

ABSTRACT

Speaker profiling, which aims to estimate speaker characteristics such as age and height, has a wide range of applications inforensics, recommendation systems, etc. In this work, we propose a semisupervised learning approach to mitigate the issue of low training data for speaker profiling. This is done by utilizing external corpus with speaker information to train a better representation which can help to improve the speaker profiling systems. Specifically, besides the standard supervised learning path, the proposed framework has two more paths: (1) an unsupervised speaker representation learning path that helps to capture the speaker information; (2) a consistency training path that helps to improve the robustness of the system by enforcing it to produce similar predictions for utterances of the same speaker.The proposed approach is evaluated on the TIMIT and NISP datasets for age, height, and gender estimation, while the Librispeech is used as the unsupervised external corpus. Trained both on single-task and multi-task settings, our approach was able to achieve state-of-the-art results on age estimation on the TIMIT Test dataset with Root Mean Square Error(RMSE) of6.8 and 7.4 years and Mean Absolute Error(MAE) of 4.8 and5.0 years for male and female speakers respectively.

研究动机与目标

• 解决说话人画像任务中监督训练数据有限的挑战。
• 通过利用Librispeech等外部无监督语料库，提升说话人表征学习性能。
• 开发一个统一模型，同时预测年龄、身高和性别，避免使用性别特定模型。
• 通过同一说话人不同增强视图之间的一致性训练，提升模型鲁棒性与泛化能力。
• 学习对语音内容不变、富含说话人属性的说话人特异性表征。

提出的方法

• 提出三路径框架：监督学习、无监督说话人表征学习和一致性训练。
• 使用对比学习目标，最大化同一说话人嵌入之间的互信息。
• 训练一个判别器，以区分正样本对（同一说话人）和负样本对（不同说话人）的潜在码。
• 将监督损失、表征损失（对比）和一致性损失整合为统一的目标函数。
• 采用DiffGrad优化器，以4:1的比例混合无监督与监督数据，训练200个周期。
• 使用预训练的wav2vec编码器作为骨干网络，通过微调LSTM和全连接层构建最终的预测头。

实验结果

研究问题

• RQ1 当标注数据稀缺时，半监督学习能否提升说话人画像性能？
• RQ2 联合学习说话人表征与画像属性是否比仅监督训练具有更好的泛化能力？
• RQ3 在性能与鲁棒性方面，年龄、身高和性别联合多任务学习与单任务学习相比如何？
• RQ4 通过同一说话人不同增强语音样本之间的一致性训练，能否提升模型泛化能力？
• RQ5 在Librispeech上进行无监督预训练，在多大程度上提升了下游说话人画像性能？

主要发现

• 所提出的多任务半监督模型在TIMIT测试集上实现了男性年龄估计的最先进RMSE（6.8岁）和女性年龄估计的最先进RMSE（7.4岁）。
• 该模型在TIMIT上实现了男性和女性年龄估计的MAE分别为4.8岁和5.0岁，优于以往方法。
• 在多任务设置下，性别分类准确率达到99.1%，与TIMIT上先前最先进结果持平或超越。
• 在TIMIT上，无论男性还是女性说话人，多任务设置在年龄和身高估计方面均持续优于单任务模型。
• 在NISP数据集上，该模型实现了男性和女性身高估计的RMSE分别为6.49和6.44，年龄估计的RMSE分别为5.55和6.25，表现出强大的泛化能力。
• 在NISP测试集上，该模型实现了100%的性别分类准确率，表明性别预测具有高度可靠性。