[論文レビュー] StarGAN-based Emotional Voice Conversion for Japanese Phrases

Asuka Moritani, Ryo Ozaki+3 more|arXiv (Cornell University)|Apr 5, 2021

Speech Recognition and Synthesis参考文献 17被引用数 6

ひとこと要約

本稿では、スペクトルエンVELOープ変換を用いたStarGAN-VCを活用し、基本周波数（F0）および非周期性の最小限の処理で、非並列で多対多の日本語フレーズ向けの感情音声変換手法StarGAN-EVCを提案する。主観的評価では中程度の感情変換性能を達成しているが、特に「悲しむ」発話において自然さに顕著なばらつきが見られる。

ABSTRACT

This paper shows that StarGAN-VC, a spectral envelope transformation method for non-parallel many-to-many voice conversion (VC), is capable of emotional VC (EVC). Although StarGAN-VC has been shown to enable speaker identity conversion, its capability for EVC for Japanese phrases has not been clarified. In this paper, we describe the direct application of StarGAN-VC to an EVC task with minimal fundamental frequency and aperiodicity processing. Through subjective evaluation experiments, we evaluated the performance of our StarGAN-EVC system in terms of its ability to achieve EVC for Japanese phrases. The subjective evaluation is conducted in terms of subjective classification and mean opinion score of neutrality and similarity. In addition, the interdependence between the source and target emotional domains was investigated from the perspective of the quality of EVC.

研究の動機と目的

• StarGAN-VCが元々話者識別変換を目的として設計されたが、並列データを必要とせず、日本語フレーズの感情音声変換（EVC）に直接適用可能かどうかを検討すること。
• F0および非周期性の処理を最小限に抑え、スペクトルエンVELOープ変換のみでEVCを達成できるかを評価すること。
• 感情分類、自然さ（MOS）、感情類似度（ESS）に焦点を当てた主観的聴取テストを通じて、提案されたStarGAN-EVCシステムの性能を評価すること。
• EVCにおけるソースおよびターゲットの感情ドメイン間の相関関係、特に双方向変換品質と性能の非対称性を分析すること。
• F0および非周期性のための他のEVC技術とStarGAN-VCを統合することで、全体的な変換品質および自然さを向上させられる可能性を検討すること。

提案手法

• 生成的敵対ネットワーク（GAN）に基づく非並列で多対多の音声変換フレームワークであるStarGAN-VCを、感情状態をドメインとして扱うことで感情音声変換（EVC）に適応する。
• EVCの主なメカニズムとしてスペクトルエンVELOープ変換を用い、F0には対数正規化、非周期性にはアイデンティティマッピングを適用して、プロソディックおよびスペクトル特性を保持する。
• 入力音声特徴とワンホットエンコーディングされたターゲット感情ラベルを入力とし、変換された特徴系列を出力する生成器ネットワークを採用する。
• 生成器とディスクリミネータを敵対的に訓練し、ディスクリミネータは本物と生成された特徴を区別し、ドメイン分類器は正しくドメインを特定することを保証する。
• トレーニングの安定化と双方向変換性能の向上を図るためにサイクル一貫性損失を適用するが、結果の非対称性から完全な対称性には制限があることが示唆される。
• 非並列な日本語フレーズデータセットにモデルを適用し、感情状態間で並列発話を必要とせずにエンドツーエンドのトレーニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 スペクトルエンVELOープ変換のみで、StarGAN-VCを日本語フレーズの感情音声変換に効果的に適用できるか？
• RQ2 感情分類、自然さ、類似度の観点から、異なるソース・ターゲット感情状態ペアにおけるStarGAN-EVCの性能はどのように変化するか？
• RQ3 F0および非周期性の明示的モデリングが欠落していることによって、変換音声の品質および自然さにどの程度の影響が及ぶか？
• RQ4 感情状態間で双方向変換性能に非対称性が生じるか、その要因として何が考えられるか？
• RQ5 スペクトルエンVELOープ変換のみで、知覚的に説得力のある感情音声変換を達成できるか、それとも追加のプロソディック修飾が必要か？

主な発見

• 主観的評価では、StarGAN-EVCがスペクトルエンVELOープ変換のみで日本語フレーズの感情表現を効果的に変換できており、ターゲットが「ニュートラル」の場合、平均感情分類精度は5点満点中4.79点を記録した。
• 自然さに関する平均意見スコア（MOS）は一般的に低く、特に「悲しむ」から他の感情に変換する場合、MOS値が2.0未満にとどまり、品質の低さが顕著に感じられた。
• 感情類似度スコア（ESS）は、ほとんどのペアにおいてMOSスコアよりも高かったことから、感情の意図はしばしば正しく認識されたが、音声の自然さは不満であったと示唆された。
• システムは顕著な性能の非対称性を示した：『悲しむ』から他の感情への変換ではMOSが低く、一方『喜び』から『悲しむ』への変換ではMOSが高かった。これは、モデルの一般化能力が感情状態ごに非対称であることを示している。
• 『悲しむ』から『ニュートラル』への変換で最も高いESS（4.92）が観測されたことから、自然さが損なわれても感情の類似度は保持され得ることが示された。
• 結果から、スペクトルエンVELOープ変換は感情移転に有効であるが、F0および非周期性の明示的モデリングが欠落しているため、特に『悲しむ』のような感情的特徴が顕著な状態では全体的な自然さが制限されることが明らかになった。