[論文レビュー] Seen and Unseen emotional style transfer for voice conversion with a new emotional speech dataset

Kun Zhou, Berrak Şişman+2 more|arXiv (Cornell University)|Oct 28, 2020

Speech Recognition and Synthesis参考文献 36被引用数 14

ひとこと要約

本論文は、事前学習済みの音声感情認識（SER）モデルから得られる深層感情特徴を条件とするVAW-GANアーキテクチャを用いて、並行学習データが不要な1対多の感情的スタイル変換（EST）フレームワークを提案する。この手法により、既知および未知の感情の両方の変換が可能となり、スペクトル的および聴取的指標において最先端の性能を達成する。また、コミュニティ利用を目的として、マルチスケーラー・マルチリンガルな感情的音声データセット（ESD）を新たに公開する。

ABSTRACT

Emotional voice conversion aims to transform emotional prosody in speech while preserving the linguistic content and speaker identity. Prior studies show that it is possible to disentangle emotional prosody using an encoder-decoder network conditioned on discrete representation, such as one-hot emotion labels. Such networks learn to remember a fixed set of emotional styles. In this paper, we propose a novel framework based on variational auto-encoding Wasserstein generative adversarial network (VAW-GAN), which makes use of a pre-trained speech emotion recognition (SER) model to transfer emotional style during training and at run-time inference. In this way, the network is able to transfer both seen and unseen emotional style to a new utterance. We show that the proposed framework achieves remarkable performance by consistently outperforming the baseline framework. This paper also marks the release of an emotional speech dataset (ESD) for voice conversion, which has multiple speakers and languages.

研究の動機と目的

• 並行学習データを必要としない1対多の感情的ボイスコンバージョンを可能にする。
• 離散ラベルではなく連続的な深層感情特徴を用いて、既知および未知の感情的スタイルの両方の転送を可能にする。
• 連続的な潜在空間における感情的プロソディの分離により、感情的ボイスコンバージョンの一般化を向上させる。
• ボイスコンバージョン研究におけるオープンソースで、マルチスケーラー・マルチリンガルな感情的音声データセットの不足を解消する。
• ボイスコンバージョンおよび表現力豊かなTTSへの広範な応用を目的として、新規の感情的音声データセット（ESD）を公開する。

提案手法

• フレームワークは、条件付き生成器および判別器を備えたVAW-GANアーキテクチャを採用し、デコーダーは事前学習済みSERモデルから得られる深層感情特徴に条件付けられる。
• エンコーダーは入力音声を128次元の潜在ベクトル $ z $ にマッピングし、これに256次元の深層感情特徴ベクトルと1次元のF0プロファイルを連結する。
• 深層感情特徴ベクトルは事前学習済みSERモデルから抽出され、感情的スタイル変換のための連続的制御信号として機能する。
• 生成器は、カーネルサイズ {9,7,7,1025} およびストライド {3,3,3,1} の4層1次元CNNを用い、判別器はカーネルサイズ {7,7,115} およびストライド {3,3,3} の3層1次元CNNを用いる。
• モデルは、学習率1e-5、バッチサイズ256で45エポック、RMSPropを用いて学習される。
• このフレームワークにより、並行データが不要なエンドツーエンド学習が可能となり、1つのモデルで全感情変換ペアを処理できる。

実験結果

リサーチクエスチョン

• RQ1 1つのモデルが並行学習データを必要とせずに、既知および未知の感情的スタイルの両方をボイスコンバージョンで一般化して転送できるか？
• RQ2 事前学習済みSERモデルから得られる深層感情特徴が、連続的な潜在空間における感情的プロソディを効果的に表現・制御できるか？
• RQ3 本手法が、既知および未知の両方の感情において、スペクトル歪みおよび聴取的品質という観点でベースラインモデルと比較してどのように優れているか？
• RQ4 離散的 emotion ラベルと比較して、連続的深層感情特徴の使用が一般化性能をどの程度向上させるか？
• RQ5 感情的スタイル変換中に、言語的コンテンツおよび発話者アイデンティティの保持は、どの程度効果的に行われるか？

主な発見

• 提案されたDeepESTフレームワークは、すべての既知の感情組み合わせ（N2HおよびN2S）において、ベースラインのVAW-GAN-EVCよりメル倒スペクトル歪み（MCD）が優れている。
• 未知の感情（怒り）においても、DeepESTは怒りのサンプルに特化して学習されたベースラインモデルと同等のMCD結果を達成しており、未知のスタイルへの一般化を示している。
• 主観的聴取テストでは、DeepESTは既知および未知の感情組み合わせの両方で、ベースラインより高い平均意見スコア（MOS）を達成した。
• AB選好テストでは、すべての感情ペアにおいて、DeepESTが音声品質の点で一貫してベースラインを上回った。
• XAB感情類似度テストでは、ベースラインが特定の感情（怒り）に特化して学習されているにもかかわらず、DeepESTは未知の感情（怒り）に対しても、ベースラインと同等の感情類似度を達成しており、性能が保たれていることが確認された。
• 本フレームワークは、全感情変換ペアを1つのモデルで処理できるのに対し、ベースラインは各ペアごとに3つの別々のモデルを必要としており、大幅に効率性とスケーラビリティが向上している。