[論文レビュー] Emotion controllable speech synthesis using emotion-unlabeled dataset with the assistance of cross-domain speech emotion recognition

Xiong Cai, Dongyang Dai+4 more|arXiv (Cornell University)|Oct 26, 2020

Speech Recognition and Synthesis参考文献 27被引用数 4

ひとこと要約

本論文は、クロスドメイン音声感情認識（SER）モデルとグローバルスタイルトークン（GST）を用いた補助的感情予測タスクを活用することで、完全に感情ラベルのないTTSデータセット上で学習を行う、新しい感情制御可能TTSシステムを提案する。この手法は、音声品質の最小限の低下を伴いながら高い感情表現性を達成し、手動でラベル付けされた感情データを必要としないゼロショット感情制御の有効性を示している。

ABSTRACT

Neural text-to-speech (TTS) approaches generally require a huge number of high quality speech data, which makes it difficult to obtain such a dataset with extra emotion labels. In this paper, we propose a novel approach for emotional TTS synthesis on a TTS dataset without emotion labels. Specifically, our proposed method consists of a cross-domain speech emotion recognition (SER) model and an emotional TTS model. Firstly, we train the cross-domain SER model on both SER and TTS datasets. Then, we use emotion labels on the TTS dataset predicted by the trained SER model to build an auxiliary SER task and jointly train it with the TTS model. Experimental results show that our proposed method can generate speech with the specified emotional expressiveness and nearly no hindering on the speech quality.

研究の動機と目的

• 感情ラベル付きデータセットの不足が感情TTSの実用的導入を制限するという問題に対処する。
• TTSデータセットに手動でラベル付けされた感情データを必要とせずに、感情制御を可能にする。
• クロスドメインSERからの弱い教師信号を用いて、神経的TTSにおける感情関連のプロソディのモデリングを改善する。
• 補助学習を用いることで、高品質な音声を維持しながら正確な感情表現を実現する。
• 外部のSERデータセットとドメイン適応を活用することで、高価な感情ラベル付け作業への依存を低減する。

提案手法

• ドメイン適応によるMMDを用いて、ラベル付きSERデータセット（ソースドメイン）とラベルなしTTSデータセット（ターゲットドメイン）を同時に学習することで、クロスドメインSERモデルを事前学習する。
• SERモデルのソフトmax出力からTTSデータセット上で感情ラベルを予測し、それを補助的感情予測タスクの弱い教師信号として使用する。
• GSTモジュールと補助的感情予測ヘッドを併用してTTSモデルを共同学習させ、感情予測は学習されたスタイルトークン重みに基づく。
• トップ-Kリファレンス選択方式を用いて、感情固有のリファレンス音声セットを構築する：各感情に対して、予測確信度が最も高いK個の音声を平均化して感情埋め込みを生成する。
• 最終的なTTS推論では、選択されたリファレンスセットからの平均化されたスタイルトークン重みを用い、合成音声の感情的プロソディを制御する。
• 本手法はGSTフレームワークを活用してコンテンツとスタイルを分離し、補助予測タスクによって感情モデリングを強化する。

実験結果

リサーチクエスチョン

• RQ1 感情ラベルなしのデータセットでの学習のみで、TTSシステムが制御可能な感情表現性を達成できるか？
• RQ2 ドメインシフトが存在する状況下で、クロスドメインSERがTTSデータに対して信頼性の高い感情ラベルを提供できるか？
• RQ3 スタイルトークン重みに基づく補助的感情予測タスクは、GSTモジュール内の感情的コンテンツの分離を改善するか？
• RQ4 トップ-Kリファレンス選択戦略は、全予測音声を用いる場合と比較して、感情の一貫性と表現性を向上させられるか？
• RQ5 提案手法は、感情制御を可能にしつつ、どの程度音声品質を維持できるか？

主な発見

• 提案手法は、ニュートラルな状態で4.12、怒りで3.80、ハッピーで3.11、悲しみで3.61の平均意見スコア（MOS）を達成し、ベースラインと比較して品質に顕著な差異は認められなかった（p値 = 0.20）。
• 4つの感情カテゴリ（ニュートラル、怒り、ハッピー、悲しみ）の平均感情認識正答率は、提案手法のトップ-K方式で78.75%に達し、ベースライン（36.75%）および全セットベースライン（49.25%）を顕著に上回った。
• アーザルとバリエンスの次元において、平均認識正答率はそれぞれ91.0%と55.5%であり、ランダムベースラインの50.0%を大きく上回った。
• t-SNE可視化により、提案手法のスタイルトークン重みは感情カテゴリごとに明確で分離されたクラスタを形成しているのに対し、ベースラインモデルは劣ったクラスタリングを示した。
• 特に『ハッピー』感情ではMOSが3.11にとどまり、このクラスのSER正答率が低いために性能が著しく劣ったと推測され、本手法がSER品質に非常に敏感であることが示された。
• 補助的感情予測タスクにより、GSTモジュールが感情関連特徴を抽出する能力が顕著に向上したことが、クラスタリングおよび認識性能の向上によって裏付けられた。