[論文レビュー] Towards achieving robust universal neural vocoding

Jaime Lorenzo-Trueba, Thomas Drugman+6 more|arXiv (Cornell University)|Nov 15, 2018

Speech and Audio Processing参考文献 34被引用数 9

ひとこと要約

本論文では、17ヶ国語で74人の多様な話者を対象にトレーニングされた、話者に依存しないWaveRNNベースの神経音声生成器を提案する。スタジオ品質の音声において98%の相対的MUSHRAを達成し、話者エンコーディングを明示的に用いずに、話者に依存しない性能を実現した。本モデルは、未学習の話者、言語、歌、非言語的発声に対しても強力な汎用性を示し、低品質またはドメイン外の条件下でも話者に依存する音声生成器を上回る性能を発揮するが、騒音や極端な発声条件下では品質が低下する。

ABSTRACT

This paper explores the potential universality of neural vocoders. We train a WaveRNN-based vocoder on 74 speakers coming from 17 languages. This vocoder is shown to be capable of generating speech of consistently good quality (98% relative mean MUSHRA when compared to natural speech) regardless of whether the input spectrogram comes from a speaker or style seen during training or from an out-of-domain scenario when the recording conditions are studio-quality. When the recordings show significant changes in quality, or when moving towards non-speech vocalizations or singing, the vocoder still significantly outperforms speaker-dependent vocoders, but operates at a lower average relative MUSHRA of 75%. These results are shown to be consistent across languages, regardless of them being seen during training (e.g. English or Japanese) or unseen (e.g. Wolof, Swahili, Ahmaric).

研究の動機と目的

• 神経音声生成器が明示的な話者エンコーディングなしで、ユニバーサルな強靭性を達成できるかを調査すること。
• 歌や非言語的発声を含む、未学習の話者、言語、発声スタイルへの汎用性を評価すること。
• 多話者・多言語データにわたるトレーニングが、話者に依存するモデルよりも優れた汎用性をもたらすかを検証すること。
• 騒音、リバーブ、低品質な録音条件などの劣化した録音状態下での性能を評価すること。
• 標準的なTTSシナリオを超えた神経音声生成器の汎用性の限界を探索すること。

提案手法

• 17ヶ国語の74人の話者を対象に、メルスペクトログ램を入力として10ビットのμ-law波形サンプルを予測するWaveRNNベースの音声生成器（RNN_MS）をトレーニングした。
• メルスペクトログ램を処理する双方向GRUの条件付けネットワークと、自己回帰的波形生成に用いる単方向GRUを用いた。
• 話者埋め込みやワンホットエンコーディングを一切使用せず、スペクトログラムによる条件付けに依存した。
• 話者に依存する（SD）、複数話者（3Spk、7Spk）、ユニバーサル（Univ）の複数構成でモデルを評価した。
• スペクトログラム推定誤差の影響を分離するために、実録音声からのオラクルスペクトログラムを適用した。
• 自然音声と比較するための定量的評価として、多様な条件下でMUSHRAスコアを用いた。

実験結果

リサーチクエスチョン

• RQ1 神経音声生成器は、明示的な話者エンコーディングなしで、高品質かつユニバーサルな音声合成を達成できるか？
• RQ2 多様な話者と言語でトレーニングされた音声生成器は、未学習の話者や言語にどの程度汎用性を示すか？
• RQ3 騒音、リバーブ、低品質な状態下でのユニバーサル音声生成器の性能はいかがなものか？
• RQ4 発声の質が歪んでいたり複雑であったりする場合、非言語的発声（例：うめき、叫び）や歌に対して音声生成器はどのように対処するか？
• RQ5 多様なデータでトレーニングすることで、話者に依存するモデルと比較して、どの程度汎用性が向上するか？

主な発見

• ユニバーサル音声生成器は、トレーニング時に学習した話者または言語でない場合でも、スタジオ品質の録音において98%の相対的MUSHRAを達成した。
• 非言語的発声のような未学習のシナリオでは、平均72%の相対的MUSHRAを達成し、話者に依存するモデルを著しく上回った。
• 歌については、クリアなバラードが94.5%の相対的MUSHRAを達成したが、歪みのあるスタイル（例：ロック）では39.3%に低下し、発声品質への感受性が顕著に現れた。
• 騒音やリバーブがある状態では78%の相対的MUSHRAに低下し、騒音とリバーブが重複する状態では58%にまで低下した。
• ウロフ語、スワヒリ語、アムハラ語を含む、学習済みでない言語に対しても一貫した性能を示し、強力な言語間汎用性を示した。
• 低品質な入力では、バイブラートに類似した効果や、言語的ではないノイズアーティファクトが生じた。これは、非言語的音響をモデル化する際の限界を示唆している。