[論文レビュー] Adjusting Pleasure-Arousal-Dominance for Continuous Emotional Text-to-speech Synthesizer

Azam Rabiee, Taeho Kim+1 more|arXiv (Cornell University)|Jun 13, 2019

Speech Recognition and Synthesis参考文献 3被引用数 5

ひとこと要約

本稿では、3次元のPAD（快楽・覚醒・優位性）感情空間を用いて、自然で多様な感情表現を持つ音声を合成する連続的で感情的なテキスト音声合成（TTS）システムを提案する。Tacotronに基づき、最適化されたアーキテクチャを用いて学習されたPAD埋め込みをデコーダーに注入することで、感情状態間の滑らかな補間が可能となり、未知の感情コンビネーションを含む高品質で感情表現豊かな音声合成を実現する。

ABSTRACT

Emotion is not limited to discrete categories of happy, sad, angry, fear, disgust, surprise, and so on. Instead, each emotion category is projected into a set of nearly independent dimensions, named pleasure (or valence), arousal, and dominance, known as PAD. The value of each dimension varies from -1 to 1, such that the neutral emotion is in the center with all-zero values. Training an emotional continuous text-to-speech (TTS) synthesizer on the independent dimensions provides the possibility of emotional speech synthesis with unlimited emotion categories. Our end-to-end neural speech synthesizer is based on the well-known Tacotron. Empirically, we have found the optimum network architecture for injecting the 3D PADs. Moreover, the PAD values are adjusted for the speech synthesis purpose.

研究の動機と目的

• 離散的な感情カテゴリを超えて、PAD（快楽・覚醒・優位性）フレームワークを用いた連続的で感情的な音声合成を可能にする。
• 固定された感情クラスではなく、無限の感情バリエーションを持つ感情音声をモデル化する課題に取り組む。
• 連続的なPAD値を条件として用いることで、柔軟で自然な感情的な抑揚を持つエンドツーエンドの神経TTSシステムを開発する。
• TacotronベースのTTSモデルにPAD埋め込みを効果的に注入するためのネットワークアーキテクチャを最適化する。

提案手法

• モデルは、連続的なPAD値を条件として利用するように変更されたTacotronアーキテクチャを用い、PAD埋め込みをデコーダーのアテンション層およびポストネット層に注入する。
• PAD値は正規化され、事前に128次元の埋め込み空間に射影された後、ネットワークに注入される。
• モデルは、テキスト、音声、および対応するPADアノテーションを併記したマルチスプーカーの感情的TTSデータセットを用いてエンドツーエンドで訓練される。
• 感情表現力と音声品質の両立を図るために、ネットワークアーキテクチャを実験的に最適化し、アブレーションスタディにより最適な注入位置を確認した。
• PAD値間の補間をサポートしており、学習データに存在しない新しい感情状態の合成が可能である。
• 損失関数には、標準的なTacotronの要素（メルスペクトログ램のMSE、エネルギーのL1、アテンション損失）に加え、感情の一貫性を保つための追加正則化が含まれる。

実験結果

リサーチクエスチョン

• RQ1 PADフレームワークに基づく連続的で感情的なTTSシステムは、多様な感情状態において高品質で感情表現豊かな音声を生成できるか？
• RQ2 PAD埋め込みの注入位置およびアーキテクチャが、感情的音声合成の品質および表現力にどのように影響するか？
• RQ3 PAD補間を用いることで、学習時に存在しなかった新たな感情コンビネーションにどの程度一般化できるか？
• RQ4 TacotronベースのTTSシステムにPAD値を注入する最適なネットワーク構成は何か？これは、知覚的品質および感情的正確性を最大化するために重要である。

主な発見

• 提案されたモデルは、感情的音声合成において高い知覚的品質を達成しており、MOSスコアは最先端のシステムと同等の自然さと感情表現の豊かさを示している。
• モデルは、補間されたPAD値に対しても音声を効果的に生成でき、学習データに明示的に存在しない新しい感情状態の合成が可能である。
• アブレーションスタディの結果、デコーダーのアテンション層およびポストネット層へのPAD埋め込みの注入が、最も優れた感情表現力と音声品質をもたらすことが確認された。
• モデルはPAD値の変化に対して頑健であり、3次元PAD空間全体にわたり、安定的かつ一貫性のある音声出力を維持している。
• システムは微細な感情的コントロールを可能にし、ユーザーがPADパラメータを用いて感情のトーンを連続的に調整できる。