[論文レビュー] Towards Multi-Scale Style Control for Expressive Speech Synthesis

Xiang Li, Changhe Song+4 more|arXiv (Cornell University)|Apr 8, 2021

Speech Recognition and Synthesis参考文献 17被引用数 4

ひとこと要約

本論文は、エンドツーエンドの表現的TTSのためのマルチスケールリファレンスエンコーダーを提案し、リファレンス音声からグローバルスタイル埋め込み（GSE）とローカルプロソディ埋め込み（LPE）を同時に抽出することで、発話レベルの感情と細分化されたプロソディの両方を同時に制御可能にする。この手法は、特にクロスエモーションおよび非並列設定において、スタイル転送の正確性と頑健性を向上させ、客観的および主観的評価の両方でモノスケールベースラインを上回る性能を発揮する。

ABSTRACT

This paper introduces a multi-scale speech style modeling method for end-to-end expressive speech synthesis. The proposed method employs a multi-scale reference encoder to extract both the global-scale utterance-level and the local-scale quasi-phoneme-level style features of the target speech, which are then fed into the speech synthesis model as an extension to the input phoneme sequence. During training time, the multi-scale style model could be jointly trained with the speech synthesis model in an end-to-end fashion. By applying the proposed method to style transfer task, experimental results indicate that the controllability of the multi-scale speech style model and the expressiveness of the synthesized speech are greatly improved. Moreover, by assigning different reference speeches to extraction of style on each scale, the flexibility of the proposed method is further revealed.

研究の動機と目的

• 既存の表現的TTSモデルがグローバルまたはローカルの1つのスケールの音声スタイルに焦点を当てており、発話レベルの感情や細分化されたプロソディの両方の制御が不十分であるという限界に対処すること。
• スケール（例：スピーカーのトーン、感情）とローカルスケール（例：ピッチ、エネルギー、一時停止）の両方のスタイル特徴を同時にモデリングする統一的でエンドツーエンドで学習可能なフレームワークを開発すること。
• リファレンスアテンションメカニズムを介してマルチスケールスタイル特徴をTTSバックボーンに統合することで、合成音声の制御性と表現力を向上させること。
• 並列データを必要とせずに、複数のリファレンス音声を用いて柔軟なスタイル転送を可能にすること——例えば、1つのリファレンスからグローバルな感情を、別のリファレンスからローカルプロソディを組み合わせること。

提案手法

• リファレンス音声入力のメルスペクトログ램からグローバルスタイル埋め込み（GSE）ベクトルとローカルプロソディ埋め込み（LPE）シーケンスを同時に抽出するマルチスケールリファレンスエンコーダーを設計する。
• 入力スペクトログラムのダウンサンプリングにストライド付き畳み込みを用い、発音単位に近い粒度（準発音子スケール）の中間特徴を生成することで、発音単位とのアライメントを向上させる。
• LPEシーケンスは、アテンションベースTTSにおけるコンテンツベースアテンションと同様のリファレンスアテンションメカニズムを用いて発音子シーケンスにアライメントさせる。
• マルチスケールリファレンスエンコーダーとリファレンスアテンションは、TTSモデルとエンドツーエンドで同時に学習され、スタイルモデリングと音声生成の共同最適化が可能になる。
• 異なるリファレンス音声をグローバルスタイルとローカルスタイルのコンponentsに割り当てることで、非並列およびクロスエモーションスタイル転送を可能にする。
• モデルアーキテクチャは、エンコーダ-デコーダ構造を持つTTSバックボーンを用いて評価され、スタイル特徴は発音子埋め込みに連結され、条件付き生成が行われる。

実験結果

リサーチクエスチョン

• RQ1 補助ラベルや別々の学習段階に依存せずに、統一されたエンドツーエンドTTSシステムがグローバルおよびローカルの両方の音声スタイル特徴を効果的にモデリングできるか？
• RQ2 マルチスケールスタイルモデリングは、グローバルな感情と細分化されたプロソディの両面において、合成音声の制御性をどのように向上させるか？
• RQ3 フレームスケールではなく準発音子スケールのスタイル特徴を用いることで、リファレンスアテンションおよび音声合成の頑健性と正確性はどの程度向上するか？
• RQ4 並列でないリファレンス音声から得たグローバルおよびローカルスタイルコンポーネントを組み合わせることで、柔軟なスタイル転送が可能か？
• RQ5 提案手法は、モノスケールベースライン（例：グローバルのみ、ローカルのみ）と比較して、客観的および主観的評価の両方で優れているか？

主な発見

• 提案されたマルチスケールモデルは、MOS評価により、モノスケールベースラインよりもグローバル感情およびローカルプロソディ転送の両面で顕著に優れていることが確認された。
• 主観的評価では、提案モデルがグローバル感情（平均MOS: 4.21）およびローカルプロソディ（平均MOS: 4.15）の両方において、ベースラインよりも高い類似度スコアを達成した。
• モデルはクロスエモーションスタイル転送を成功裏に実行でき、1つのリファレンスからグローバルな感情を転送しながら、別のリファレンスからローカルプロソディを保持することができ、高い柔軟性を示した。
• 準発音子スケールのLPE表現は、リファレンスアテンションのアライメントをより頑健にし、最後の文字が正しく生成されないエラーを回避した——フレームスケールベースライン（Base-FS）とは異なり、一部のケースで最後の文字が生成されない問題を示した。
• 非並列スタイル転送においても、モデルは高い品質と一貫性を維持しており、並列学習データに依存せず、多様なリファレンス入力を効果的に処理できることを示した。
• アブレーションスタディにより、ダウンサンプリングを削除（すなわちフレームスケールに戻す）すると、リファレンスアテンションのアライメントと音声品質が劣化することが確認され、準発音子スケールの粒度の重要性が裏付けられた。