[論文レビュー] Multi-Target Emotional Voice Conversion With Neural Vocoders

Songxiang Liu, Yuewen Cao+1 more|arXiv (Cornell University)|Apr 8, 2020

Speech Recognition and Synthesis参考文献 34被引用数 11

ひとこと要約

本稿では、音声認識システムに依存しない発音後後確率グラム（PPG）を用いて言語的モデリングを向上させる、深層双方向LSTM（DBLSTM）変換モデルとニューラルボコーダーを組み合わせたマルチターゲット感情音声変換（MTEVC）システムを提案する。FloWaveNetと呼ばれるフローベースのニューラルボコーダーを用いることで、複数の感情ペアにおいて周波数およびピッチ変換指標で、グリフィン・リムおよび自己回帰的WaveNetを上回る最先端の性能を達成した。

ABSTRACT

Emotional voice conversion (EVC) is one way to generate expressive synthetic speech. Previous approaches mainly focused on modeling one-to-one mapping, i.e., conversion from one emotional state to another emotional state, with Mel-cepstral vocoders. In this paper, we investigate building a multi-target EVC (MTEVC) architecture, which combines a deep bidirectional long-short term memory (DBLSTM)-based conversion model and a neural vocoder. Phonetic posteriorgrams (PPGs) containing rich linguistic information are incorporated into the conversion model as auxiliary input features, which boost the conversion performance. To leverage the advantages of the newly emerged neural vocoders, we investigate the conditional WaveNet and flow-based WaveNet (FloWaveNet) as speech generators. The vocoders take in additional speaker information and emotion information as auxiliary features and are trained with a multi-speaker and multi-emotion speech corpus. Objective metrics and subjective evaluation of the experimental results verify the efficacy of the proposed MTEVC architecture for EVC.

研究の動機と目的

• 1対1の感情音声変換（EVC）の制限を克服し、1つのモデルで複数のターゲット感情状態を扱えるMTEVCを実現すること。
• 従来のメルケプストラムボコーダーに代えてニューラルボコーダーを採用することで、音声の自然さと変換精度を向上させること。
• 発話者に依存しない発音後後確率グラム（PPG）を補助特徴として組み込むことで、EVCにおける言語的モデリングを強化すること。
• 発話者および感情コードを注入することで、複数発話者および複数感情のデータ上でニューラルボコーダーを学習させ、より良い一般化性能を達成すること。
• 客観的指標および主観的聴取テストを用いて、提案されたMTEVCフレームワークの評価を行うこと。

提案手法

• DBLSTMに基づく変換モデルは、ソースのメルスペクトログ램とPPGを入力とし、ターゲットの感情状態を制御するための1-of-K補助特徴として感情コードを用いる。
• システムは条件付きWaveNetおよびフローベースのWaveNet（FloWaveNet）をニューラルボコーダーとして採用し、メルスペクトログ램を条件として、発話者および感情コードを注入する。
• PPGは発話者に依存しないASRシステムから抽出され、並列学習データを必要とせず、堅牢な言語的文脈を提供する。
• ニューラルボコーダーは、発話者および感情に依存する音声特性を学習できるように、複数発話者および複数感情のコーパス上で学習される。
• FloWaveNetに対しては最大尤度損失を用いたエンドツーエンド学習が可能であり、WaveNetに対しては自己回帰的生成が可能である。
• 感情コードは変換モデルおよびボコーダーの両方を条件付け、柔軟なマルチターゲット変換を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つのMTEVCモデルが、各ペアごとに別々のモデルを必要とせずに、複数の感情状態に一般化できるか？
• RQ2 補助特徴としてPPGを組み込むことで、DBLSTMベースの変換モデルの周波数およびピッチ変換性能が向上するか？
• RQ3 WaveNetやFloWaveNetといったニューラルボコーダーは、従来のメルケプストラムボコーダーと比較して、周波数的およびプロソディックな忠実度において優れているか？
• RQ4 複数発話者および複数感情のデータ上でニューラルボコーダーを学習させることで、共有パラメータを用いて高精細で感情特化型の音声合成が可能になるか？
• RQ5 WaveNetとFloWaveNetのどちらのニューラルボコーダーが、マルチターゲットEVCにおいて品質、速度、一般化性能のバランスを最も良く満たしているか？

主な発見

• FloWaveNetは、全感情ペアにおいて最小のMCD（8.05–8.84）を達成し、周波数変換においてWaveNetおよびグリフィン・リムを上回った。
• PPGを補助入力として用いた本モデルは、PPGを含まないベースラインと比較して、MCDが最大1.5 dB低減され、周波数再構成の改善が示された。
• ピッチ変換において、本モデルは最小のLogF0-MSE（1.05–2.74）を達成し、ニュートラルから怒りや悲しみへの変換で最も優れた性能を示した。
• 主観的評価では、P-WaveNetがニュートラルからハッピーへの変換で86.7%の正答分類率を示したのに対し、P-FloWaveNetはニュートラルから悲しみへの変換で80.1%を記録し、強力な感情転送の正確性を示した。
• B-FloWaveNetモデルは、ニュートラルから悲しみへの変換で38.9%の正答分類率を達成し、FloWaveNetを搭載したベースラインモデルですら、感情認識において他のモデルを上回ることを示した。
• ボコーダーに発話者および感情コードを組み込むことで、複数発話者および複数感情をカバーする1つの共有モデルで高精細で感情特化型の音声生成が可能になった。