[論文レビュー] Emotional Voice Conversion: Theory, Databases and ESD

Kun Zhou, Berrak Şişman+2 more|arXiv (Cornell University)|May 31, 2021

Speech Recognition and Synthesis参考文献 131被引用数 8

ひとこと要約

本稿では、29時間以上の高品質な音声を含む、20名の話者（英語10名、中国語10名）からなる、多話者・クロスリンガルな感情音声データベース「Emotional Speech Database (ESD)」を紹介する。5つの感情（ニュートラル、喜び、怒り、悲しみ、驚き）の350組の同期音声が含まれており、最先端の感情音声変換システムの構築を通じて、その有効性が検証された。本データベースは、感情に配慮した音声合成および音声変換分野の研究を進める上で有用であることが示された。

ABSTRACT

In this paper, we first provide a review of the state-of-the-art emotional voice conversion research, and the existing emotional speech databases. We then motivate the development of a novel emotional speech database (ESD) that addresses the increasing research need. With this paper, the ESD database is now made available to the research community. The ESD database consists of 350 parallel utterances spoken by 10 native English and 10 native Chinese speakers and covers 5 emotion categories (neutral, happy, angry, sad and surprise). More than 29 hours of speech data were recorded in a controlled acoustic environment. The database is suitable for multi-speaker and cross-lingual emotional voice conversion studies. As case studies, we implement several state-of-the-art emotional voice conversion systems on the ESD database. This paper provides a reference study on ESD in conjunction with its release.

研究の動機と目的

• 多話者およびクロスリンガルな感情音声変換研究に適した、公開可能で高品質な感情音声データベースの不足を補うため。
• 既存の感情音声変換技術およびデータベースについての包括的レビューを提供するため。
• 研究コミュニティのベンチマークリソースとしてESDデータベースをリリースするため。
• 最先端の感情音声変換モデルを用いたケーススタディを通じて、ESDの実用性を示すため。
• 人間-マシンインタラクションにおける感情知能を備えた音声合成システムの開発を支援するため。

提案手法

• ESDデータベースは、制御された音響環境下で、10名のネイティブ英語話者および10名のネイティブ中国語話者から収録された。
• 各話者は1感情あたり35の発話音声を記録し、合計で5つの感情カテゴリにわたる350組の同期音声が得られた。
• 言語的コンテンツが保持され、話者識別子も維持された高精細な音声記録が含まれている。
• 著者らは、GANベース、シーケンス・ツー・シーケンス、オートエンコーダー基盤のフレームワークを含む、複数の最先端の感情音声変換モデルをESDデータセットに適用した。
• 評価フレームワークには、話者依存およびクロスリンガルな設定が含まれ、汎化性と耐性を評価した。
• 本研究では、ESDデータセットを用いて、感情音声変換および感情的テキスト音声合成アプリケーションのためのモデルを訓練および検証した。

実験結果

リサーチクエスチョン

• RQ1 大規模で多話者・クロスリンガルな感情音声データベースは、感情音声変換システムの性能および汎化性をどのように向上させるか？
• RQ2 音声変換における上位セグメント感情プロソディーおよびスペクトルダイナミクスのモデリングにおける主な課題は何か？
• RQ3 ESDデータベースは、最先端の感情音声変換およびテキスト音声合成フレームワークの支援にどの程度効果的か？
• RQ4 ESDで訓練されたエンドツーエンドモデルは、異なる言語および話者アイデンティティにわたって一般化可能か？
• RQ5 分離表現学習は、感情音声変換品質の向上にどのような役割を果たすか？

主な発見

• ESDデータベースは、20名の話者を対象に29時間以上の高品質な同期記録を含む、公開可能な感情音声データベースの中で最大クラスのものである。
• 本データベースは、話者依存およびクロスリンガルな感情音声変換をサポートしており、多様な研究応用が可能である。
• ケーススタディでは、GANベースおよびシーケンス・ツー・シーケンスフレームワークを含む最先端のモデルが、ESD上で高品質な感情音声変換を達成していることが示された。
• ESDデータベースを用いることで、感情的表現力に優れた感情的テキスト音声合成システムの訓練が成功裏に実施された。
• ESDのリリースにより、再現性のある研究および異なる感情音声変換手法間の比較を容易にする標準化されたベンチマークが提供された。
• 本データベースはすでに後続研究で使用されており、感情音声研究における実用性と信頼性が確認された。