[论文解读] Improving Zero-shot Voice Style Transfer via Disentangled Representation Learning

Siyang Yuan, Pengyu Cheng+4 more|arXiv (Cornell University)|Mar 17, 2021

Speech Recognition and Synthesis参考文献 53被引用 27

一句话总结

IDE-VC 提出信息论解耦嵌入，以在零样本和多对多语音风格转换中实现改进，并在 VCTK 上超越基线方法。

ABSTRACT

Voice style transfer, also called voice conversion, seeks to modify one speaker's voice to generate speech as if it came from another (target) speaker. Previous works have made progress on voice conversion with parallel training data and pre-known speakers. However, zero-shot voice style transfer, which learns from non-parallel data and generates voices for previously unseen speakers, remains a challenging problem. We propose a novel zero-shot voice transfer method via disentangled representation learning. The proposed method first encodes speaker-related style and voice content of each input voice into separated low-dimensional embedding spaces, and then transfers to a new voice by combining the source content embedding and target style embedding through a decoder. With information-theoretic guidance, the style and content embedding spaces are representative and (ideally) independent of each other. On real-world VCTK datasets, our method outperforms other baselines and obtains state-of-the-art results in terms of transfer accuracy and voice naturalness for voice style transfer experiments under both many-to-many and zero-shot setups.

研究动机与目标

• 激励从非并行数据和多对多场景下的零样本语音风格转换。
• 提出一个解耦表示学习框架，在嵌入中分离风格与内容。
• 结合互信息界限以促进风格与内容的独立性。
• 利用说话人身份作为监督以稳定学习到的风格表示。
• 在先前的编码器-解码器 VST 模型之上实现更高的转换质量和自然度。

提出的方法

• 将输入语音 x 编码为风格嵌入 s = E_s(x) 和内容嵌入 c = E_c(x)。
• 通过 D(s, c) 解码，以将来源内容与目标风格结合来重建或转移到目标风格。
• 最小化基于互信息的目标以解耦 s 与 c，使用 I(s; c)、I(x; c|s) 和 I(u; s) 的上界/下界。
• 提供两个新的多组 MI 界限（定理3.1和定理3.2）以加强风格一致性和内容保持。
• 用神经网络 q_theta(s|c) 近似未知的条件分布 p(s|c) 以界定 I(s; c)，并迭代训练 E_s、E_c、D 与 q_theta。
• 利用基于 GE2E 的预训练风格编码器初始化和 WaveNet 声码器进行波形合成。

实验结果

研究问题

• RQ1 在非并行数据下，能否通过解耦的风格与内容表示可靠地实现零样本语音风格转换？
• RQ2 与先前的编码器-解码器方法相比，基于互信息的解耦界限是否能提高传输保真度和自然度？
• RQ3 在 VCTK 的多对多和零样本 VST 设置中，IDE-VC 相对于基线的表现如何？
• RQ4 学习到的风格嵌入是否与说话人身份对齐，而内容嵌入保持对说话人不变？
• RQ5 在端到端模型训练中，所提出的 MI 界限是否能实际估计并带来好处？

主要发现

• IDE-VC 在多对多 VST 的客观与主观指标上均超越基线（StarGAN、Blow、AUTOVC、AdaIN-VC）。
• 零样本 VST：IDE-VC 在所有报告指标上均超越 AUTOVC 和 AdaIN-VC。
• 风格嵌入按说话人聚类，而内容嵌入对说话人不变（t-SNE 可视化）。
• 内容嵌入的说话人身份可预测性低于基线，表明解耦效果更好。
• 消融研究表明去除基于 MI 的项会降低传输质量，证实了解耦损失的重要性。