[論文レビュー] Learning latent representations for style control and transfer in end-to-end speech synthesis

Yajie Zhang, Shifeng Pan+2 more|arXiv (Cornell University)|Dec 11, 2018

Speech Recognition and Synthesis参考文献 17被引用数 5

ひとこと要約

この論文は、教師なしで分離可能で連続的な音声スタイルの潜在表現を学習するため、エンドツーエンドTTSモデルに変分オートエンコーダー（VAE）を導入する。変分推論を用いて参照音声からスタイルコードを抽出し、それらを操作することで、正確なスタイル制御が可能となり、並列および非並列スタイル転送の両方においてABX好みテストでグローバルスタイルトークン（GST）モデルを上回る性能を発揮する。

ABSTRACT

In this paper, we introduce the Variational Autoencoder (VAE) to an end-to-end speech synthesis model, to learn the latent representation of speaking styles in an unsupervised manner. The style representation learned through VAE shows good properties such as disentangling, scaling, and combination, which makes it easy for style control. Style transfer can be achieved in this framework by first inferring style representation through the recognition network of VAE, then feeding it into TTS network to guide the style in synthesizing speech. To avoid Kullback-Leibler (KL) divergence collapse in training, several techniques are adopted. Finally, the proposed model shows good performance of style control and outperforms Global Style Token (GST) model in ABX preference tests on style transfer.

研究の動機と目的

• エンドツーエンド音声合成における教師なしで分離可能な音声スタイル表現の学習を可能にする。
• 学習された潜在変数の直接操作によって、細かく制御可能なスタイル制御を実現する。
• 識別ネットワークを用いて参照音声からスタイルコードを推論することで、スタイル転送を実現する。
• 参照スタイルとターゲットスタイルが著しく異なる非並列スタイル転送において、一般化性能を向上させる。
• 音声合成の文脈においてVAE学習時のKLダイバージェンスの崩壊を軽減する。

提案手法

• タコトロン2 TTSフレームワークにVAEモジュールを統合し、音声スタイルの連続的潜在空間を学習する。
• 参照音声入力からスタイル表現を推論するための識別ネットワーク $q_{oldsymbol{ heta}}( extbf{z}| extbf{x})$ を使用する。
• 再パラメータライゼーショントリックを適用し、VAEエンコーダーにおける確率的サンプリングのバックプロパゲーションを可能にする。
• 重み共有や勾配ペナルティなどの技術を用いて、学習中のKLダイバージェンスの崩壊を防止する。
• 推論された潜在スタイルコード $\mathbf{z}$ を条件としてTTSデコーダーに供給することで、スタイル転送を実現する。
• 潜在ベクトル $\mathbf{z}$ の各次元を操作することで、補間と分離可能な制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 VAEは、エンドツーエンドTTSシステム内において、教師なしで分離可能で解釈可能な音声スタイルの潜在表現を学習できるか？
• RQ2 学習された潜在空間は、スタイル属性の連続的補間と加法的組み合わせをどの程度可能にするか？
• RQ3 提案されたVAEベースのスタイル表現は、GSTモデルと比較して優れたスタイル転送性能を発揮するか？
• RQ4 参照スタイルとターゲットスタイルが異なる話者や条件下で、モデルは非並列スタイル転送においてどの程度一般化するか？
• RQ5 ペaired参照データを必要とせずに、高品質なスタイル制御を達成できるか？

主な発見

• VAEベースの潜在空間により、ピッチ、発話速度、プロソディの変化が滑らかに変化するスタイル表現間の補間が可能である。
• 潜在ベクトルの各次元がピッチの高さ、局所的ピッチ変動、発話速度といった特定のスタイル属性を制御しており、分離性が裏付けられている。
• ABX好みテストにおいて、並列および非並列スタイル転送の両方で、p値 < 10^-5 の有意差を示し、GSTモデルを上回る優れた性能を発揮した。
• 非並列スタイル転送において顕著に優れた一般化性能を示しており、スタイルドメインシフトに対しても頑健であることが示された。
• 学習された潜在表現は、スタイル制御のための直接的な操作を可能にするとともに、事前分布からのサンプリングによるデータ拡張も可能にした。
• アーキテクチャ的および学習的技術により、KLダイバージェンスの崩壊が軽減され、安定した学習と意味のある事後分布推論が確保された。