[論文レビュー] InstructTTS: Modelling Expressive TTS in Discrete Latent Space with Natural Language Style Prompt

Dongchao Yang, Songxiang Liu+3 more|arXiv (Cornell University)|Jan 31, 2023

Speech Recognition and Synthesis被引用数 5

ひとこと要約

InstructTTSは、自然言語スタイルプロンプトを用いて発話の抑揚や感情を制御する、革新的な表現性のある音声合成システムを提案する。音声特徴量はベクトル量子化VQ-VAEを用いて離散的潜在空間にモデル化され、離散的拡散モデルを用いて音声トークンを生成することで、高精細で多様性に富み、制御性の高い音声合成を実現。相互情報量の最小化によりスタイルの分離性が向上する。

ABSTRACT

Expressive text-to-speech (TTS) aims to synthesize different speaking style speech according to human's demands. Nowadays, there are two common ways to control speaking styles: (1) Pre-defining a group of speaking style and using categorical index to denote different speaking style. However, there are limitations in the diversity of expressiveness, as these models can only generate the pre-defined styles. (2) Using reference speech as style input, which results in a problem that the extracted style information is not intuitive or interpretable. In this study, we attempt to use natural language as style prompt to control the styles in the synthetic speech, e.g., "Sigh tone in full of sad mood with some helpless feeling". Considering that there is no existing TTS corpus which is proper to benchmark this novel task, we first construct a speech corpus, whose speech samples are annotated with not only content transcriptions but also style descriptions in natural language. Then we propose an expressive TTS model, named as InstructTTS, which is novel in the sense of following aspects: (1) We fully take the advantage of self-supervised learning and cross-modal metric learning, and propose a novel three-stage training procedure to obtain a robust sentence embedding model, which can effectively capture semantic information from the style prompts and control the speaking style in the generated speech. (2) We propose to model acoustic features in discrete latent space and train a novel discrete diffusion probabilistic model to generate vector-quantized (VQ) acoustic tokens rather than the commonly-used mel spectrogram. (3) We jointly apply mutual information (MI) estimation and minimization during acoustic model training to minimize style-speaker and style-content MI, avoiding possible content and speaker information leakage from the style prompt.

研究の動機と目的

• 参照発話や分類ラベルの代わりに、長文の自然言語スタイルプロンプトを用いてユーザーが制御可能な表現性のあるTTSを実現すること。
• 非構造的な自然言語プロンプトから意味的スタイル表現を学習する課題に対処すること。
• ベクトル量子化された音声特徴量を用いて表現性のあるTTSを離散的潜在空間にモデル化し、シーケンス・ツー・シーケンスの言語モデル化を可能とすること。
• トレーニング中に相互情報量を同時に推定・最小化することで、スタイル、コンテンツ、話者間の情報漏洩を低減すること。
• 波形ベースのVQ特徴量を対象とした非自己回帰的・ワンステージのトレーニングフレームワークを構築し、VALL-Eなどの同時期のモデルとは差をつけること。

提案手法

• 自然言語スタイルプロンプトからの意味的意味を捉えるための堅牢な文埋め込みモデルを学習するための三段階トレーニング手順を提案する。
• 事前学習済みのVQ-VAEを用いて音声特徴量を離散的潜在空間にモデル化し、2つのバージョンを採用：Mel-VQ（メルスペクトログ램に基づく）およびWave-VQ（生波形に基づく）。
• VQトークンを逐次的に生成するための新しい離散的拡散確率モデルを訓練し、音声合成を離散コードブック空間における言語モデル化タスクとして扱う。
• U-Transformerアーキテクチャを拡散デコーダーとして用い、潜在空間における長距離依存関係を効果的にモデル化する。
• 音声モデルのトレーニング中に、相互情報量（MI）推定と最小化を併用し、スタイルプロンプトからコンテンツおよび話者情報の漏洩を低減する。
• 拡散トレーニングを改善するための、改善型マスク・アンド・リプレース（I-MAR）戦略を導入し、生成品質と多様性を向上させる。

Figure 1: (a) shows the model architecture of our proposed InstructTTS. Where SALN denotes the style-adaptive layer normalization adaptor [ 12 ] . (b) shows the details of our proposed style encoder, which aims to extract style features from GT mel-spectrogram (training stage) or style prompt (infer

実験結果

リサーチクエスチョン

• RQ1 参照発話や事前の分類ラベルを必要とせず、自然言語プロンプトが表現性のある発話スタイルを効果的に制御できるか？
• RQ2 長文の自然言語スタイル記述から意味的および抑揚的情報を捉えるための堅牢な文埋め込みモデルをどのように学習できるか？
• RQ3 VQ音声トークン上の拡散ベースの生成プロセスを用いて、表現性のあるTTSを離散的潜在空間に効果的にモデル化できるか？
• RQ4 メルスペクトログラムと波形に基づくVQベースの音声表現の違いが、音声合成品質およびトレーニング効率に与える影響は何か？
• RQ5 スタイル、コンテンツ、話者間の相互情報量の最小化が、プロンプトベースTTSにおける分離性および一般化性能に与える影響はどの程度か？

主な発見

• 提案されたI-MAR拡散戦略は標準MARを上回り、MCDが0.03低下（5.68 vs. 5.71）、SSIMが0.02上昇（0.384 vs. 0.364）した。
• Wave-VQ-DiffusionベースのInstructTTSは、STOI 0.615およびFFE 0.23を達成し、合成音声の高解離性と自然さを示した。
• GRVQベースの音声コーデックは、PESQ 3.63およびSTOI 0.95を達成し、RVQおよびEncodecを上回る再構成性能を示した。
• RVQで8つのコードブックを使用することでPESQは3.54から3.54に向上したが、コードブック数の増加に伴い性能向上が線形に拡大しないことから、モデル容量の制限が示唆された。
• 同じ入力に対して10回のランダム推論を実行した結果、多様なF0プロファイルが得られ、InstructTTSが自然な抑揚変動を示す非決定的で多様な音声を生成していることが確認された。
• 自然言語プロンプト制御における高いゼロショット一般化性能が、主観的スコアから裏付けられており、未学習のスタイルに対しても強い性能を示した。

Figure 2: The model architecture of cross-modal representation learning.