[論文レビュー] Converting Anyone's Emotion: Towards Speaker-Independent Emotional Voice Conversion

Kun Zhou, Berrak Şişman+2 more|arXiv (Cornell University)|May 13, 2020

Speech Recognition and Synthesis参考文献 41被引用数 15

ひとこと要約

本論文では、並行学習データを必要とせず、感情を変換するためのスプーカー独立型の感情音声変換フレームワークを提案する。VAW-GANに基づくエンコーダ・デコーダアーキテクチャを用い、連続ウェーブレット変換（CWT）を用いてプロソディーをモデリングし、CWTに基づくF0特徴量をデコーダに条件付けすることで、視認可能なスプーカーおよび未視認のスプーカーの両方において、高品質でスプーカーを保持する感情変換を実現した。スプーカー依存型ベースラインを上回る感情類似度を達成しながら、スプーカーのアイデンティティを維持した。

ABSTRACT

Emotional voice conversion aims to convert the emotion of speech from one state to another while preserving the linguistic content and speaker identity. The prior studies on emotional voice conversion are mostly carried out under the assumption that emotion is speaker-dependent. We consider that there is a common code between speakers for emotional expression in a spoken language, therefore, a speaker-independent mapping between emotional states is possible. In this paper, we propose a speaker-independent emotional voice conversion framework, that can convert anyone's emotion without the need for parallel data. We propose a VAW-GAN based encoder-decoder structure to learn the spectrum and prosody mapping. We perform prosody conversion by using continuous wavelet transform (CWT) to model the temporal dependencies. We also investigate the use of F0 as an additional input to the decoder to improve emotion conversion performance. Experiments show that the proposed speaker-independent framework achieves competitive results for both seen and unseen speakers.

研究の動機と目的

• 音声内の感情表現に、スプーカーに依存しないパターンが存在するかを調査すること。
• 並行学習データを必要としないスプーカー独立型の感情音声変換フレームワークを開発すること。
• 連続ウェーブレット変換（CWT）を用いてピッチの時間的依存性を捉えることで、感情音声変換におけるプロソディーモデリングを改善すること。
• CWTに基づくF0特徴量をデコーダに条件付けることで、スペクトルおよびプロソディー変換の性能を向上させること。
• スプーカー独立型学習がスプーカー依存型学習よりも未視認スプーカーに一般化しやすいことを検証すること。

提案手法

• フレームワークは、スペクトル的およびプロソディック特徴量における感情状態間のスプーカーに依存しないマッピングを学習するため、VAW-GANに基づくエンコーダ・デコーダ構造を採用する。
• プロソディーは、複数の時間周波数分解能でピッチカーブを表現する連続ウェーブレット変換（CWT）を用いてモデリングされ、階層的かつ超セグメンタルな感情的側面を捉える。
• デコーダはCWT変換されたF0特徴量に条件付けられ、感情変換中のスペクトル再構成の正確性が向上する。
• モデルはサイクル整合性のある敵対的損失を用いてエンドツーエンドで学習され、並行学習データの必要性が排除される。
• スプーカーに依存しない一般化を実現するため、マルチスプーカー・データセットが使用され、視認および未視認の両スプーカーに適用可能である。
• 感情の忠実度およびスプーカー保持性を評価するため、MOS、XAB感情類似度、XABスプーカー類似度テストを用いてフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 音声内の感情表現は、並行データが不要な状態でスプーカーに依存しない形でモデリング可能か？ これにより、異なるスプーカー間での変換が可能になるか？
• RQ2 CWT変換されたF0にデコーダを条件付けた場合、感情音声変換の品質が向上するか？
• RQ3 スプーカー独立型学習とスプーカー依存型学習を比較した場合、感情類似度およびスプーカー識別性保持の観点でどちらが優れているか？
• RQ4 提案されたフレームワークは、未視認スプーカーに一般化可能であり、高品質な感情忠実度およびスプーカー識別性を維持できるか？
• RQ5 非並行的でマルチスプーカーのデータのみを用いて、高品質な感情音声変換を達成することは可能か？

主な発見

• CWT-C-VAWGANフレームワークは、平均意見スコア（MOS）が2.808 ± 0.137を達成し、CWT-VAWGAN（2.731 ± 0.163）を有意に上回り、F0条件付けの有効性を確認した。
• 視認および未視認スプーカーの両方において、スプーカー独立型学習がXAB感情類似度テストでスプーカー依存型学習を上回った。特に、未視認スプーカーに対して、聴取者によるスプーカー独立型アプローチの支持が強く示された。
• 提案されたCWT-C-VAWGANフレームワークは、スプーカー依存型ベースライン（SD-CWT-C-VAWGAN）と同等のスプーカー類似度を達成した。これは、感情変換がスプーカーのアイデンティティを損なわないことを示している。
• XABテストにより、スプーカー独立型モデルが未視認スプーカーに効果的に一般化できることを確認した。これにより、強靭性および一般化能力が裏付けられた。
• 結果から、スプーカー独立型の感情音声変換が、並行データやスプーカー固有のファインチューニングなしに、実現可能で効果的であることが検証された。
• 本研究では、初めて、単一の統合モデルを用いて、視認および未視認スプーカーの両方で競争力のある性能を達成できるスプーカー独立型の感情音声変換フレームワークが実現されたことを示した。