[論文レビュー] Sample Efficient Adaptive Text-to-Speech

Yutian Chen, Yannis Assael+12 more|arXiv (Cornell University)|Sep 27, 2018

Speech Recognition and Synthesis参考文献 47被引用数 75

ひとこと要約

この論文は、メタ学習に基づく戦略を導入し、少量データで新しい話者へ適応する多話者 WaveNet TTS モデルを提案し、Embedding 微調整、全モデル微調整、Embedding エンコーダーアプローチの三つの適応手法で高い自然さと話者類似性を達成する。

ABSTRACT

We present a meta-learning approach for adaptive text-to-speech (TTS) with few data. During training, we learn a multi-speaker model using a shared conditional WaveNet core and independent learned embeddings for each speaker. The aim of training is not to produce a neural network with fixed weights, which is then deployed as a TTS system. Instead, the aim is to produce a network that requires few data at deployment time to rapidly adapt to new speakers. We introduce and benchmark three strategies: (i) learning the speaker embedding while keeping the WaveNet core fixed, (ii) fine-tuning the entire architecture with stochastic gradient descent, and (iii) predicting the speaker embedding with a trained neural network encoder. The experiments show that these approaches are successful at adapting the multi-speaker neural network to new speakers, obtaining state-of-the-art results in both sample naturalness and voice similarity with merely a few minutes of audio data from new speakers.

研究の動機と目的

• 限られたデータで新しい話者へ迅速かつ高品質な TTS 適応の課題を動機づけ、解決する。
• 固定された最終モデルではなく、話者条件付けの WaveNet prior を学習するメタ学習フレームワークを開発する。
• わずかな例で新しい声にモデルを適合させる三つの適応戦略を探る。

提案手法

• 大規模多話者モデルにおける各話者のための per-speaker embedding を WaveNet に追加拡張する。
• 三つの適応戦略: (i) SEA-Emb — コア WaveNet を固定し話者 embedding のみを微調整, (ii) SEA-All — embedding と全モデルの両方を微調整, (iii) SEA-Enc — デモンストレーションデータから新しい話者 embedding を予測するエンコーダを訓練。
• 音高特徴から話者同一性の漏洩を抑えるため f0 を正規化する。
• 異なるデータレジーム下での少数-shot 適応を評価するため、2つのホールドアウト適応データセット（LibriSpeech と VCTK）を使用。
• 従来の few-shot TTS 手法と比較し、自然さ（MOS）と話者類似性（MOS および TI-SV EER）を報告する。

実験結果

リサーチクエスチョン

• RQ1 共有コアと per-speaker embedding を用いて訓練された多話者 WaveNet を、数秒から数分のデータのみで未見の話者へ迅速に適応させることは可能か。
• RQ2 非パラメトリック（SEA-Emb, SEA-All）とパラメトリック（SEA-Enc）適応戦略は、自然さと話者類似性の観点でどのように比較されるか。
• RQ3 適応データサイズが生成音声の品質と話者識別性に与える影響は何か。
• RQ4 適応済みモデルは、異なる条件で録音されたデータセット（LibriSpeech vs. VCTK）に跨って一般化するか。

主な発見

• 三つの適応アプローチはいずれも、適応データが数秒から数分程度で新しい話者の高品質な音声を実現できる。
• SEA-All（embedding の最適化の後に全モデルを微調整）は、データセットとデータレジームを問わず、三つの手法の中で最も強力な性能を示す。
• SEA-Emb はパラメータが少なく迅速に適応し過学習のリスクが低い一方、SEA-All は十分な適応データがある場合、自然さと話者類似性の点で最も良い傾向を示す。
• SEA-Enc は高速で転写テキストに依存しない適応経路を提供するが、エンコーダの容量によって偏りうるため、報告設定では非パラメトリック手法より自然さと話者類似性が劣る傾向。
• 定性的分析では、生成音声が TI-SV embedding 空間で話者ごとにクラスタリングされ、話者検証タスクで実音声に近づくことが示され、特に適応データが十分な LibriSpeech の場合に顕著。