[論文レビュー] Fine-grained style control in Transformer-based Text-to-speech Synthesis

Liwei Chen, Alexander I. Rudnicky|arXiv (Cornell University)|Oct 12, 2021

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本論文は、wav2vec 2.0特徴量を介してリファレンス音声から抽出した局所的スタイルトークン（LST）を導入することで、スタイル制御が細分化されたTransformerベースの音声合成システムを提案する。コンテンツとスタイルの表現を統合するためのクロスアテンションブロックを用い、コンテンツ漏れを低減するとともに、自然さ、識別性、スタイル転送性を向上させた。正則化を追加せず、LJ SpeechおよびVCTKデータセットで最先端の性能を達成した。

ABSTRACT

In this paper, we present a novel architecture to realize fine-grained style control on the transformer-based text-to-speech synthesis (TransformerTTS). Specifically, we model the speaking style by extracting a time sequence of local style tokens (LST) from the reference speech. The existing content encoder in TransformerTTS is then replaced by our designed cross-attention blocks for fusion and alignment between content and style. As the fusion is performed along with the skip connection, our cross-attention block provides a good inductive bias to gradually infuse the phoneme representation with a given style. Additionally, we prevent the style embedding from encoding linguistic content by randomly truncating LST during training and using wav2vec 2.0 features. Experiments show that with fine-grained style control, our system performs better in terms of naturalness, intelligibility, and style transferability. Our code and samples are publicly available.

研究の動機と目的

• Transformerベースの音声合成において、抑揚、発話速度、音量などの話し方のスタイルを細分化して制御することを目的とする。
• 訓練中に言語的コンテンツがスタイル埋め込みに意図せず漏れ込むスタイルモデリングにおけるコンテンツ漏れを解消することを目的とする。
• グローバルスタイル埋め込みに依存せず、時間的に変化するフレーム単位の抑揚変動を捉えるスタイル表現を設計することを目的とする。
• スキップ接続を備えたクロスアテンション機構を用いてコンテンツとスタイルの表現を統合することで、音声品質とスタイル転送性を向上させることを目的とする。
• 本システムがマルチスプーカー環境に一般化でき、感情やスタイルラベルなしにゼロショットスタイル転送を可能にすることを目的とする。

提案手法

• スタイルネットワークは、リファレンス音声からの特徴抽出にwav2vec 2.0を用い、コンテンツ漏れを低減する強力で分離された表現を提供する。
• 局所的スタイルトークン（LST）は、学習可能なコードブックと多頭アテンションを用いて学習され、フレーム単位のスタイル埋め込みの系列を生成する。
• クロスアテンションブロックにより、音節表現とLST埋め込みが統合され、スキップ接続とインダクティブバイアスを介して徐々にスタイルが組み込まれる。
• コンテンツ漏れは、訓練中にLSTをランダムに切り詰める手法と、波形やスペクトログ램の代わりにwav2vec 2.0特徴量を用いることで軽減される。
• コンテンツネットワークは、音節埋め込みとレイヤーナーマライゼーションのみを用い、デコーダーネットワークはMultiSpeechに類似した構造を採用する。
• デコーダーをコンテンツとスタイルの表現の両方に条件づけることで、話し方のスタイルを独立して操作可能となる。

Fig. 1 : Overview of our LST-TTS system.

実験結果

リサーチクエスチョン

• RQ1 コンテンツ漏れを引き起こさずに、TransformerベースのTTSシステムに細分化されたフレーム単位の話し方スタイル制御を効果的に統合できるか？
• RQ2 コンテンツとスタイル表現の間の提案されたクロスアテンション統合機構が、音声の自然さと識別性にどのように影響を与えるか？
• RQ3 本システムは、発話速度や音量といった微細な抑揚変動を、リファレンス音声から合成音声にどれほど効果的に転送できるか？
• RQ4 従来のスペクトル的または埋め込みベースの入力と比較して、wav2vec 2.0特徴量を表現バックボーンとして用いることで、コンテンツ漏れが低減するか？
• RQ5 本システムはマルチスプーカー環境に一般化可能で、感情やスタイルラベルを明示的に与えずに高品質なスタイル転送を維持できるか？

主な発見

• LST-Aバージョンは、LJ Speechで自然さのMOSが3.62 ± 0.09、スタイル類似度が3.28 ± 0.10を達成し、Tanら[10]を含む先行手法を両指標で上回った。
• VCTKでは、LST-A設定下で自然さのMOSが3.75 ± 0.10、スタイル類似度が3.25 ± 0.12を維持し、高い性能を発揮した。
• 事前学習済みの感情認識分類器（SER）を用いた感情ラベル転送の正確度は68.4%に達し、感情のパターン転送が明示的な感情ラベルなしに効果的に行われたことを示した。
• 訓練中にLSTをランダムに切り詰める（LST-R）ことで、音声の識別性に悪影響が及ばず、スタイル制御が順序依存性に依存せず、堅牢であることが確認された。
• SPKバージョンでは、コンテンツ表現が抑揚情報を含むように調整されたため、WERが高くなったが、これはアライメント学習の耐性向上を示唆している。
• 本システムはマルチスプーカー環境に対しても良好に一般化され、LST-AおよびLST-SともにVCTKで低WERを達成し、コンテンツとスタイルの話者アイデンティティが異なる場合でも高いスタイル類似度を維持した。