[論文レビュー] VAW-GAN for Disentanglement and Recomposition of Emotional Elements in Speech

Kun Zhou, Berrak Şişman+1 more|arXiv (Cornell University)|Nov 3, 2020

Speech and Audio Processing被引用数 6

ひとこと要約

本稿では、VAW-GANを用いて音声内の感情的要素を分離・再構成するスプーカー依存型の感情的音声変換フレームワークを提案する。連続ウェーブレット変換（CWT）を用いたマルチスケールのプロソディー表現とF0特徴量のデコーダーへの条件付けにより、線形F0変換を用いるベースラインモデルと比較して、客観的および主観的評価の両方において優れた音声品質と感情類似性を達成した。

ABSTRACT

Emotional voice conversion (EVC) aims to convert the emotion of speech from one state to another while preserving the linguistic content and speaker identity. In this paper, we study the disentanglement and recomposition of emotional elements in speech through variational autoencoding Wasserstein generative adversarial network (VAW-GAN). We propose a speaker-dependent EVC framework based on VAW-GAN, that includes two VAW-GAN pipelines, one for spectrum conversion, and another for prosody conversion. We train a spectral encoder that disentangles emotion and prosody (F0) information from spectral features; we also train a prosodic encoder that disentangles emotion modulation of prosody (affective prosody) from linguistic prosody. At run-time, the decoder of spectral VAW-GAN is conditioned on the output of prosodic VAW-GAN. The vocoder takes the converted spectral and prosodic features to generate the target emotional speech. Experiments validate the effectiveness of our proposed method in both objective and subjective evaluations.

研究の動機と目的

• 音声における言語的コンテンツおよび話者アイデンティティから感情的プロソディーを分離する課題に対処すること。
• 非並行データを用いたスプーカー依存型EVCフレームワークを構築し、多対多の感情移行を可能にすること。
• F0を複数の時間スケールで表現可能な連続ウェーブレット変換（CWT）を用いることで、プロソディー表現の向上を図ること。
• デコーダーにおけるF0条件付けにより、感情移行性能の向上を図ること。
• 客観的および主観的評価を通じて、提案手法の有効性を検証すること。

提案手法

• 本フレームワークは2つのVAW-GANパイプラインを用いる：1つはスペクトル特徴量の変換、もう1つはプロソディック特徴量の変換。
• スペクトルエンコーダーはVAW-GANを用いて、スペクトル特徴量から感情およびプロソディック（F0）情報を分離する。
• プロソディックエンコーダーは、CWT分解されたF0特徴量を用いて、感情的プロソディー（感情の調整）を言語的プロソディーから分離する。
• スペクトルVAW-GANのデコーダーは、プロソディックVAW-GANの出力を条件として用い、ターゲットの感情的音声を生成する。
• F0にCWTを適用することで、複数の時間スケールでのプロソディー表現が可能となり、感情的プロソディーの表現が向上する。
• 音声生成器は、変換されたスペクトル特徴量およびプロソディック特徴量から最終的な音声を再構成し、F0条件付けにより再構成の忠実度が向上する。

実験結果

リサーチクエスチョン

• RQ1 VAW-GANは、非並行音声データにおいて、言語的プロソディーおよび話者アイデンティティから感情的プロソディーを効果的に分離できるか？
• RQ2 線形F0変換と比較して、CWTに基づくF0表現は、プロソディー表現および感情的音声変換性能を向上させるか？
• RQ3 スペクトルデコーダーをF0特徴量で条件付けることで、変換音声の音声品質および感情類似性にどのような影響を与えるか？
• RQ4 本手法は、並行データを一切使用しないにもかかわらず、ベースラインEVC手法に比べ、より優れた主観的および客観的性能を達成できるか？
• RQ5 CWTによるマルチスケールプロソディー表現は、スプーカー依存型音声変換における感情移行にどの程度寄与するか？

主な発見

• 提案されたVAW-GAN（SP+CWT+C）フレームワークは、ベースラインVAW-GAN（SP+F0+C）と比較して、プロソディー変換におけるRMSEおよびPCC指標で顕著に優れており、F0モデリングの向上が示された。
• F0特徴量によるデコーダーの条件付けにより、XABテストの結果、提案フレームワークが非条件付きベースラインよりも一貫して好まれ、音声品質の向上が確認された。
• XAB聴取テストにおいて、提案フレームワークは感情類似性が優れており、特にN2A（ニュートラルから怒り）変換において、CWTベースのF0表現によりベースラインを上回った。
• 従来のLGベースの線形F0変換と比較して、CWTによるF0表現は特にN2Aのような複雑な感情移行において顕著に優れた感情性能を示した。
• 主観的評価により、提案手法がより自然で感情表現豊かな音声を生成することが確認され、音声品質および感情の真正性の両面で聴取者からの好まれ具合が高かった。
• 本フレームワークは、非並行学習データのみを用いても、スプーカー依存型の感情的音声変換において優れた性能を示し、感情的要素の分離および再構成の有効性が裏付けられた。