[论文解读] DNN-based Speaker Embedding Using Subjective Inter-speaker Similarity for Multi-speaker Modeling in Speech Synthesis

Yuki Saito, Shinnosuke Takamichi+1 more|arXiv (Cornell University)|Jul 19, 2019

Speech Recognition and Synthesis参考文献 29被引用 5

一句话总结

本文提出了一种基于DNN的说话人嵌入方法，通过引入主观说话人间相似性来提升多说话人语音合成性能。通过在大规模众包相似性矩阵上进行训练，所提出的相似性向量嵌入与相似性矩阵嵌入方法学习到的说话人表征与人类感知高度相关，显著提升了对未见（开放）说话人的合成语音质量，相较于传统d-vectors有明显改进。

ABSTRACT

This paper proposes novel algorithms for speaker embedding using subjective inter-speaker similarity based on deep neural networks (DNNs). Although conventional DNN-based speaker embedding such as a $d$-vector can be applied to multi-speaker modeling in speech synthesis, it does not correlate with the subjective inter-speaker similarity and is not necessarily appropriate speaker representation for open speakers whose speech utterances are not included in the training data. We propose two training algorithms for DNN-based speaker embedding model using an inter-speaker similarity matrix obtained by large-scale subjective scoring. One is based on similarity vector embedding and trains the model to predict a vector of the similarity matrix as speaker representation. The other is based on similarity matrix embedding and trains the model to minimize the squared Frobenius norm between the similarity matrix and the Gram matrix of $d$-vectors, i.e., the inter-speaker similarity derived from the $d$-vectors. We crowdsourced the inter-speaker similarity scores of 153 Japanese female speakers, and the experimental results demonstrate that our algorithms learn speaker embedding that is highly correlated with the subjective similarity. We also apply the proposed speaker embedding to multi-speaker modeling in DNN-based speech synthesis and reveal that the proposed similarity vector embedding improves synthetic speech quality for open speakers whose speech utterances are unseen during the training.

研究动机与目标

• 为解决传统d-vectors在建模感知上相似说话人方面的局限性，通过在说话人嵌入训练中引入人类评分的说话人间相似性。
• 通过学习可解释且与感知对齐的说话人表征，实现对训练数据中未出现的开放说话人的有效多说话人语音合成。
• 通过将说话人嵌入与人类对相似性的主观感知对齐，提升合成语音的自然度与说话人相似度。

提出的方法

• 从153名日本女性说话人处众包收集说话人间相似性评分，构建大规模主观相似性矩阵。
• 提出两种训练方法：相似性向量嵌入，即训练DNN以预测每个说话人的相似性向量；相似性矩阵嵌入，即最小化真实相似性矩阵与d-vectors的Gram矩阵之间的Frobenius范数。
• 使用基于DNN的说话人嵌入模型，通过引入主观相似性矩阵作为监督信号的改进损失函数进行训练。
• 将学习到的说话人嵌入应用于基于VAE的多说话人语音合成系统，评估在封闭与开放说话人上的性能表现。
• 通过AB与XAB偏好测试评估合成语音质量，衡量自然度与说话人相似度，并进行显著性检验。

实验结果

研究问题

• RQ1 与传统d-vectors相比，基于DNN的说话人嵌入是否能更好地反映人类感知的说话人间相似性？
• RQ2 在训练过程中引入主观相似性评分是否能提升对开放说话人的合成语音质量？
• RQ3 在两种提出的训练方法中——相似性向量嵌入与相似性矩阵嵌入——哪一种在语音合成中表现更优？
• RQ4 每个目标说话人所对应的相似说话人数目如何影响相似性矩阵嵌入方法的性能？
• RQ5 与感知对齐的说话人嵌入是否能同时提升多说话人语音合成中的自然度与说话人相似度？

主要发现

• 所提出的相似性向量嵌入方法在合成语音的自然度与说话人相似度方面均有显著提升，对所有开放说话人而言，说话人相似度的偏好得分为0.517（d-vectors为0.483）。
• 相似性矩阵嵌入方法在相似说话人数量较少的说话人（如F005与F012）上导致说话人相似度下降，表明其对稀疏相似性结构较为敏感。
• 所提出的方法在学习到的说话人嵌入与主观说话人间相似性之间的相关性上，优于传统d-vectors。
• 相似性向量嵌入方法在所有开放说话人中均表现出一致的性能提升，表明其对未见说话人具有更好的泛化能力。
• 偏好测试结果证实，所提出的嵌入方法在感知质量上优于d-vectors，尤其在开放说话人合成方面表现更优。