[论文解读] VQVAE Unsupervised Unit Discovery and Multi-scale Code2Spec Inverter for Zerospeech Challenge 2019

Andros Tjandra, Berrak Şişman+4 more|arXiv (Cornell University)|May 27, 2019

Speech Recognition and Synthesis参考文献 25被引用 12

一句话总结

本论文提出了一种基于VQ-VAE的系统，采用多尺度Code2Spec反演器，在ZeroSpeech 2019挑战赛中实现了无监督语音单元发现与零样本语音转换。通过利用向量量化进行离散单元发现，并结合使用MSE损失与对抗性损失训练的多尺度反演器，该方法在ABX得分（23.59）、比特率（400）以及语音自然度方面均达到最先进性能，优于基线系统与顶尖系统，在可懂度与感知质量方面表现更优。

ABSTRACT

We describe our submitted system for the ZeroSpeech Challenge 2019. The current challenge theme addresses the difficulty of constructing a speech synthesizer without any text or phonetic labels and requires a system that can (1) discover subword units in an unsupervised way, and (2) synthesize the speech with a target speaker's voice. Moreover, the system should also balance the discrimination score ABX, the bit-rate compression rate, and the naturalness and the intelligibility of the constructed voice. To tackle these problems and achieve the best trade-off, we utilize a vector quantized variational autoencoder (VQ-VAE) and a multi-scale codebook-to-spectrogram (Code2Spec) inverter trained by mean square error and adversarial loss. The VQ-VAE extracts the speech to a latent space, forces itself to map it into the nearest codebook and produces compressed representation. Next, the inverter generates a magnitude spectrogram to the target voice, given the codebook vectors from VQ-VAE. In our experiments, we also investigated several other clustering algorithms, including K-Means and GMM, and compared them with the VQ-VAE result on ABX scores and bit rates. Our proposed approach significantly improved the intelligibility (in CER), the MOS, and discrimination ABX scores compared to the official ZeroSpeech 2019 baseline or even the topline.

研究动机与目标

• 为低资源语言构建无需文本与音素标签的语音合成器。
• 从无转录的原始音频中无监督地发现子词单元。
• 在ABX区分度得分、比特率压缩与语音自然度/可懂度之间实现平衡的权衡。
• 在端到端TTS性能上超越ZeroSpeech 2019官方基线系统与顶尖系统。

提出的方法

• 采用带有说话人嵌入的条件VQ-VAE，将原始语音特征映射为离散码本向量，实现无监督单元发现。
• VQ-VAE使用大小为256的码本，通过步长大于1的卷积实现4倍时间下采样，并采用承诺损失以稳定训练。
• 多尺度Code2Spec反演器使用不同卷积核大小的一维卷积，从码本序列生成幅度谱图，并采用LSGAN对抗训练。
• 反演器以说话人嵌入为条件，并通过均方误差与LSGAN损失联合训练，以提升谱图保真度与语音转换质量。
• 系统在PyTorch上使用Adam优化器进行端到端训练，不同语音集合（英语与惊讶）分别使用独立的反演器。
• 探索了WaveNet与基于GAN的语音转换后处理技术，但因码本生成特征中固有的失真而未能提升性能。

实验结果

研究问题

• RQ1 VQ-VAE在低资源语音的无监督单元发现中是否优于K-Means与GMM等传统聚类方法？
• RQ2 与标准反演器相比，多尺度Code2Spec反演器如何提升谱图重建质量与语音转换质量？
• RQ3 在完全无监督的TTS系统中，ABX得分、比特率与语音质量之间的最优权衡是什么？
• RQ4 基于VQ-VAE的系统是否能在可懂度与自然度上超越ZeroSpeech 2019基线系统与顶尖系统？

主要发现

• 采用256个码本与4倍时间下采样的VQ-VAE实现了23.59的ABX得分与400的比特率，显著优于官方基线系统。
• 所提系统在ABX得分与比特率之间实现了最佳平衡，因此选择256码本与4倍下采样模型用于提交。
• 与K-Means、GMM及直接特征表示相比，基于VQ-VAE的码本表征在ABX与比特率指标上均表现更优。
• 多尺度Code2Spec反演器成功生成了高保真度的幅度谱图，从而实现了从离散单元的高质量语音合成。
• WaveNet与基于GAN的语音转换因码本生成特征中固有的失真而未能提升结果。
• 该系统在客观评估（CER、ABX）与主观评估（MOS）中均达到最先进性能，超越了官方基线与顶尖系统。