[论文解读] A Unified Speaker Adaptation Method for Speech Synthesis using Transcribed and Untranscribed Speech with Backpropagation

Hieu-Thi Luong, Junichi Yamagishi|arXiv (Cornell University)|Jun 18, 2019

Speech Recognition and Synthesis参考文献 67被引用 9

一句话总结

本文提出了一种统一的说话人自适应框架，用于神经文本到语音合成，支持使用转录或非转录语音进行基于反向传播的端到端微调。通过将声学模型分解为与说话人无关的语素编码器和与说话人自适应的解码器，并引入一个用于无监督自适应的辅助编码器，该方法在使用非转录数据时实现了更优的主观质量，甚至在人类评估中超越了监督基线。

ABSTRACT

By representing speaker characteristic as a single fixed-length vector extracted solely from speech, we can train a neural multi-speaker speech synthesis model by conditioning the model on those vectors. This model can also be adapted to unseen speakers regardless of whether the transcript of adaptation data is available or not. However, this setup restricts the speaker component to just a single bias vector, which in turn limits the performance of adaptation process. In this study, we propose a novel speech synthesis model, which can be adapted to unseen speakers by fine-tuning part of or all of the network using either transcribed or untranscribed speech. Our methodology essentially consists of two steps: first, we split the conventional acoustic model into a speaker-independent (SI) linguistic encoder and a speaker-adaptive (SA) acoustic decoder; second, we train an auxiliary acoustic encoder that can be used as a substitute for the linguistic encoder whenever linguistic features are unobtainable. The results of objective and subjective evaluations show that adaptation using either transcribed or untranscribed speech with our methodology achieved a reasonable level of performance with an extremely limited amount of data and greatly improved performance with more data. Surprisingly, adaptation with untranscribed speech surpassed the transcribed counterpart in the subjective test, which reveals the limitations of the conventional acoustic model and hints at potential directions for improvements.

研究动机与目标

• 解决多说话人TTS模型中固定说话人嵌入向量的局限性，后者限制了自适应性能。
• 通过端到端反向传播，实现使用转录和非转录语音进行有效说话人自适应。
• 探究无监督自适应是否能在缺乏语言监督的情况下，于主观质量上超越监督自适应。
• 开发一种因子化声学模型架构，将与说话人无关和与说话人自适应的组件分离，以实现灵活的微调。
• 评估微调整个声学解码器与仅微调部分层对自适应性能的影响。

提出的方法

• 将声学模型分解为与说话人无关（SI）的语素编码器和与说话人自适应（SA）的声学解码器，实现模块化自适应。
• 训练一个辅助声学编码器，仅从语音中重建语素特征，实现在无转录文本时的无监督自适应。
• 对于转录自适应，使用真实转录文本通过反向传播对整个网络进行微调。
• 对于非转录自适应，辅助编码器替代语素编码器，仅使用语音波形对整个SA解码器进行微调。
• 该方法支持SA解码器的完整或部分微调，并对缩放和偏置码进行了消融研究。
• 采用端到端反向传播实现统一的训练与自适应框架，支持监督和无监督设置。

实验结果

研究问题

• RQ1 统一框架是否能通过反向传播实现使用转录和非转录语音的有效说话人自适应？
• RQ2 仅使用语音波形的无监督自适应是否在主观质量上优于使用转录文本的监督自适应？
• RQ3 与仅微调说话人相关组件相比，微调整个声学解码器在自适应性能上表现如何？
• RQ4 仅从语音训练的辅助编码器是否能有效替代语素编码器用于无监督自适应？
• RQ5 说话人特定的自适应策略（如缩放和偏置码）对自适应质量有何影响？

主要发现

• 仅使用非转录语音的无监督自适应方法在主观质量上显著优于监督基线，在测试集上达到3.45的平均MOS得分。
• 在320句语音条件下，无监督模型BaB^all_u在4分制量表上的平均相似度得分为3.12，优于监督模型BaB^all_s+（3.11）和BaB^all_u（2.86），尤其在部分说话人上表现更优。
• 在10句语音条件下，监督模型BaB^all_s+的平均质量得分为2.88，而无监督模型BaB^all_u得分为2.98，表明在极小数据量下性能更优。
• 无监督模型BaB^all_u在平均MOS（3.45）上表现最佳，并在59%的成对比较中被优先选择，表明其自然度更优，尽管缺乏语言监督。
• 在监督和无监督设置中，对整个声学解码器进行完整微调的模型（BaB^all）均优于部分微调。
• 无监督系统BaB^all_u在非英语口音说话人（p264和p345）中表现出最差的相似度，表明在缺乏转录文本时，语言映射可能存在局限性。