[論文レビュー] Expressive TTS Training with Frame and Style Reconstruction Loss
この論文は、知覚的特徴を用いたフレームレベル再構成損失と発話レベルスタイル再構成損失を組み合わせることで、プロソディーの注釈やランタイムスタイル制御機構を必要とせずに、表現的な音声合成を向上させる、タコトロンベースの音声合成（TTS）システムのための新しいトレーニング戦略を提案する。この手法は、標準のタコトロンおよびGST-Tacotronベースラインを上回り、自然さと表現力の面で最先端の性能を達成した。
We propose a novel training strategy for Tacotron-based text-to-speech (TTS) system to improve the expressiveness of speech. One of the key challenges in prosody modeling is the lack of reference that makes explicit modeling difficult. The proposed technique doesn't require prosody annotations from training data. It doesn't attempt to model prosody explicitly either, but rather encodes the association between input text and its prosody styles using a Tacotron-based TTS framework. Our proposed idea marks a departure from the style token paradigm where prosody is explicitly modeled by a bank of prosody embeddings. The proposed training strategy adopts a combination of two objective functions: 1) frame level reconstruction loss, that is calculated between the synthesized and target spectral features; 2) utterance level style reconstruction loss, that is calculated between the deep style features of synthesized and target speech. The proposed style reconstruction loss is formulated as a perceptual loss to ensure that utterance level speech style is taken into consideration during training. Experiments show that the proposed training strategy achieves remarkable performance and outperforms a state-of-the-art baseline in both naturalness and expressiveness. To our best knowledge, this is the first study to incorporate utterance level perceptual quality as a loss function into Tacotron training for improved expressiveness.
研究の動機と目的
- 明示的なプロソディーの注釈を必要とせずに、神経的TTSにおける表現的なプロソディーをモデル化する課題に対処すること。
- タコトロントレーニングに知覚的スタイル再構成を組み込むことで、発話レベルの音声表現力を向上させること。
- 推論時に手動または学習されたスタイルトークンの選択を必要としないようにすること。
- 追加のメカニズムを用いずに、テキストから直接プロソディーのスタイルをエンドツーエンドで学習できること。
- 発話レベルでの知覚的損失がフレームレベル再構成を上回り、表現的な音声合成を向上させることを検証すること。
提案手法
- 本手法は二重目的のトレーニング戦略を導入する：合成されたスペクトル特徴とターゲットスペクトル特徴の間のフレームレベル再構成損失。
- 事前学習済みの音声感情認識（SER）モデルを用いて抽出された深層スタイル特徴に基づくスタイル再構成損失を採用する。
- スタイル再構成損失は、発話レベルのプロソディック特徴を保持する知覚的損失として定式化される。
- 組み合わせ損失関数はタコトロントレーニング中に最適化され、音声的および表現的コンテンツの共同学習が可能になる。
- 知覚的損失計算のための高レベルのスタイル表現を抽出するために、スタイル記述ネットワーク（SERモデル）が使用される。
- アプローチはタコトロンに適用され、標準タコトロンおよびGST-Tacotronベースラインと比較するためのアブレーションスタディが実施された。
実験結果
リサーチクエスチョン
- RQ1プロソディーの注釈を必要とせずに、発話レベルの知覚的損失がタコトロンにおける表現的な音声合成を向上させられるか？
- RQ2フレームレベルとスタイルレベルの再構成損失を組み合わせることで、既存の手法よりも自然さと表現力が向上するか？
- RQ3本手法はランタイムスタイル制御やスタイルトークンの選択を必要とせずに優れた性能を達成できるか？
- RQ4収束性と音声品質の観点から、GST-Tacotronと比較して本トレーニング戦略はどのように異なるか？
- RQ5事前学習済みSERモデルをスタイル記述子として使用することで、プロソディーのモデリングはどの程度向上するか？
主な発見
- 提案されたタコトロン-PLモデルは、客観的および主観的評価の両方で、標準タコトロンおよびGST-Tacotron（タコトロン-ST）ベースラインを上回った。
- 主観的MOSテストでは、タコトロン-PLはタコトロンおよびタコトロン-STよりも有意に高いスコアを達成し、自然さと表現力の向上を示した。
- AB好みテストでは、100%の比較でタコトロン-PLが両ベースラインを上回り、統計的に有意な結果が得られた。
- MCD（6.58）、RMSE（1.14）、FD（14.18）の値がタコトロン-STを下回り、より優れた音声の忠実度を示した。
- トレーニング中、タコトロン-PLは最良の収束トレースを示し、安定的かつ効果的な最適化が行われたことを示した。
- 本手法は、プロソディーの注釈やランタイムスタイル制御機構を必要とせずに、表現的な音声を生成することに成功した。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。