[论文解读] Almost Unsupervised Text to Speech and Automatic Speech Recognition

Yi Ren, Xu Tan+4 more|arXiv (Cornell University)|May 13, 2019

Speech Recognition and Synthesis被引用 40

一句话总结

本文提出一个几乎无监督的框架，使用数百对样本 plus 大量未配对数据，通过去噪自编码器、双重变换、双向序列建模，在统一的基于 Transformer 的模型中同时训练 TTS 和 ASR。

ABSTRACT

Text to speech (TTS) and automatic speech recognition (ASR) are two dual tasks in speech processing and both achieve impressive performance thanks to the recent advance in deep learning and large amount of aligned speech and text data. However, the lack of aligned data poses a major practical problem for TTS and ASR on low-resource languages. In this paper, by leveraging the dual nature of the two tasks, we propose an almost unsupervised learning method that only leverages few hundreds of paired data and extra unpaired data for TTS and ASR. Our method consists of the following components: (1) a denoising auto-encoder, which reconstructs speech and text sequences respectively to develop the capability of language modeling both in speech and text domain; (2) dual transformation, where the TTS model transforms the text $y$ into speech $\hat{x}$, and the ASR model leverages the transformed pair $(\hat{x},y)$ for training, and vice versa, to boost the accuracy of the two tasks; (3) bidirectional sequence modeling, which addresses error propagation especially in the long speech and text sequence when training with few paired data; (4) a unified model structure, which combines all the above components for TTS and ASR based on Transformer model. Our method achieves 99.84% in terms of word level intelligible rate and 2.68 MOS for TTS, and 11.7% PER for ASR on LJSpeech dataset, by leveraging only 200 paired speech and text data (about 20 minutes audio), together with extra unpaired speech and text data.

研究动机与目标

• 解决低资源语言中 TTS 和 ASR 的数据稀缺问题。
• 利用 TTS 与 ASR 的双重特性，在极少的配对数据下提升两项任务。
• 开发一个统一的基于 Transformer 的架构，能够双向处理语音和文本。
• 通过双向序列建模缓解长序列中的误差传播。

提出的方法

• 使用去噪自编码器从未配对的数据中学习语音和文本域的语言建模。
• 引入双重变换（受回译启发），用 ASR 输出训练 TTS，反之亦然。
• 通过生成从左到右和从右到左的序列来降低误差传播，采取双向序列建模。
• 采用一个统一的基于 Transformer 的模型，包含用于 TTS/ASR 的共享组件，以及语音和文本的输入/输出模块。
• 使用去噪自编码器损失、双重变换损失以及在有限配对数据上的监督损失的组合进行训练。

实验结果

研究问题

• RQ1 在几百对配对样本和大量未配对数据的条件下，TTS 和 ASR 能否在几乎无监督的设置中得到有效训练？
• RQ2 利用 TTS 与 ASR 的双重特性进行的双重变换相比仅使用配对数据，能否同时改善两项任务？
• RQ3 在低资源条件下，双向序列建模是否能缓解长序列中的错误传播？
• RQ4 一个统一的基于 Transformer 的架构是否有能力通过共享参数同时处理 TTS 和 ASR 的输入/输出？

主要发现

方法	MOS（TTS）	PER（ASR）
GT	4.54	-
GT (Griffin-Lim)	3.21	-
Supervised	3.04	2.5%
Pair-200	Null	72.3%
Our Method	2.68	11.7%

• 仅使用 ~200 对配对样本加未配对数据就实现 TTS 的 99.84% 词级可懂度（单用 200 对配对数据几乎没有可懂度）。
• 在相同数据条件下，LJSpeech 上的 TTS 获得 2.68 的 MOS，ASR 的 PER 为 11.7%，超越了 200 对配对数据的基线。
• 双向序列建模在仅 DT 的基线基础上将 MOS 提升 0.40，PER 降低 3.6 个百分点。
• 消融显示 DAE 将 ASR 的 PER 从 72.3% 降至 52.0%；加入 DT 将 PER 降至 15.3%（MOS 降至 2.11）；再加入双向建模后，PER 进一步降至 11.7%，MOS 提升至 2.51。
• 在拥有更多配对数据（如 500 对）时，PER 降低到 4.4%，接近监督下界（2.5%）。
• 对梅尔光谱图的可视化表明，双向建模在细节恢复方面更细致，尤其在序列末端。