[論文レビュー] Robust and fine-grained prosody control of end-to-end speech synthesis

Younggun Lee, Taesu Kim|arXiv (Cornell University)|Nov 6, 2018

Speech Recognition and Synthesis参考文献 12被引用数 4

ひとこと要約

本稿では、エンドツーエンド音声合成における時間的構造化されたプロソディ統合ネットワークを提案し、ピッチおよびアモルチチュードの細分化されたフレーム単位および音素単位の制御を可能にする。音声またはテキストから可変長のプロソディ統合を学習し、時間的正規化を適用することで、歌唱音声変換を含む、スピークァー間でのプロソディ転送が強固に実現され、GST Tacotronに比べてMCDで29.4%の相対的改善が達成された。

ABSTRACT

We propose prosody embeddings for emotional and expressive speech synthesis networks. The proposed methods introduce temporal structures in the embedding networks, thus enabling fine-grained control of the speaking style of the synthesized speech. The temporal structures can be designed either on the speech side or the text side, leading to different control resolutions in time. The prosody embedding networks are plugged into end-to-end speech synthesis networks and trained without any other supervision except for the target speech for synthesizing. It is demonstrated that the prosody embedding networks learned to extract prosodic features. By adjusting the learned prosody features, we could change the pitch and amplitude of the synthesized speech both at the frame level and the phoneme level. We also introduce the temporal normalization of prosody embeddings, which shows better robustness against speaker perturbations during prosody transfer tasks.

研究の動機と目的

• エンドツーエンド音声合成における、細分化されたフレーム単位および音素単位のプロソディ制御を可能にし、固定長のプロソディ統合の制限を克服すること。
• ソース・スピークァーとターゲット・スピークァーの間でピッチレンジが著しく異なる場合に、スピークァー間プロソディ転送のロバストネスの問題を解決すること。
• プロソディ統合内の時間的構造を学習することで、プロソディ制御の一貫性と明示性を向上させること。
• ピッチとタイミングが極めて敏感な歌唱音声において、効果的なプロソディ転送を示すこと。
• プロソディ統合の時間的正規化が、プロソディ転送タスクにおけるロバストネスを向上させること。

提案手法

• 入力のシーケンス長に一致する可変長プロソディ統合の2種類を導入：音声信号から得られる（音声側）と、テキスト入力から得られる（テキスト側）もの。
• GRUベースのネットワークを用いて、時間的に連続するプロソディ情報が保持される時間的プロソディ統合を生成する。
• 訓練中にプロソディ統合に時間的正規化を適用し、スピークァー固有のピッチ変動に対する感受性を低減する。
• 追加の教師信号をターゲット音声以外に一切用いずに、エンドツーエンドTTSモデル（簡略化されたTacotron）にプロソディ統合ネットワークを統合する。
• コンテンツベースのアテンションメカニズムを用いてスタイルトークンの寄与度を計算し、統合の操作によって明示的なプロソディ制御を可能にする。
• プロソディ再構成および転送品質の主評価指標として、13次MFCCを用いた平均ケプストラル歪み（MCD）を用いる。

実験結果

リサーチクエスチョン

• RQ1 可変長プロソディ統合は、合成音声におけるピッチおよびアモルチチュードの細分化されたフレーム単位の制御を可能にするか？
• RQ2 プロソディ統合の時間的正規化は、ピッチレンジが著しく異なる場合に、スピークァー間プロソディ転送のロバストネスを向上させるか？
• RQ3 本手法は、メロディとリズムを保持したまま、歌唱音声から別のスピークァーへのプロソディ転送を成功させるか？
• RQ4 プロソディ再構成精度の観点から、本手法のプロソディ統合手法はGST Tacotronに比べてどのように性能を発揮するか？
• RQ5 音素またはフレーム単位でのプロソディ統合値の操作によって、明示的なプロソディ制御が達成可能か？

主な発見

• 音声側プロソディ制御法はMCD 0.294を達成し、GST TacotronのMCD 0.413を著しく上回った。
• 時間的正規化により、女性から男性へのプロソディ転送におけるMCDは0.531から0.518に低下し、ロバストネスの向上が確認された。
• すべてのフレームに固定されたプロソディ統合は、平坦で一貫性のある音声を生成し、明示的かつ制御可能なプロソディ操作の有効性を裏付けた。
• 本手法は、未学習のスピークァーから抽出したプロソディ統合を用いて、楽曲のメロディを正常に再構成できたが、GST Tacotronはそのような再構成に失敗した。
• 音声側プロソディ制御は、オリジナルの楽曲とほぼ同一の音声を生成し、歌唱タスクにおける高精度なプロソディ転送を示した。
• 本手法は、フレーム単位および音素単位の両方で一貫したプロソディ制御を可能にし、同一の音素間で意図しないプロソディ的変動が生じなかった。