[論文レビュー] Efficient Non-Autoregressive GAN Voice Conversion using VQWav2vec Features and Dynamic Convolution

Mingjie Chen, Yanghao Zhou+2 more|arXiv (Cornell University)|Mar 31, 2022

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本稿では、効率的な音声表現のためのVQWav2vec埋め込みと、軽量で高性能なコンテンツモデリングのためのダイナミック畳み込みを活用する、非自己回帰型GANベースの音声変換モデルDYGAN-VCを提案する。700万パラメータで、カスケードASR-TTSの半分のサイズでありながらSOTAに近い性能を達成し、最大8倍高速なデコード速度を実現。VCC2020ベンチマークで3.86のMOSを記録し、CERは4.3%にまで低下した。

ABSTRACT

It was shown recently that a combination of ASR and TTS models yield highly competitive performance on standard voice conversion tasks such as the Voice Conversion Challenge 2020 (VCC2020). To obtain good performance both models require pretraining on large amounts of data, thereby obtaining large models that are potentially inefficient in use. In this work we present a model that is significantly smaller and thereby faster in processing while obtaining equivalent performance. To achieve this the proposed model, Dynamic-GAN-VC (DYGAN-VC), uses a non-autoregressive structure and makes use of vector quantised embeddings obtained from a VQWav2vec model. Furthermore dynamic convolution is introduced to improve speech content modeling while requiring a small number of parameters. Objective and subjective evaluation was performed using the VCC2020 task, yielding MOS scores of up to 3.86, and character error rates as low as 4.3\%. This was achieved with approximately half the number of model parameters, and up to 8 times faster decoding speed.

研究の動機と目的

• 音声変換における大規模な自己回帰型ASR-TTSモデルの非効率性（大容量のメモリと計算リソースを要すること）を是正すること。
• 音声品質や変換精度を損なわず、モデルの効率性を向上させること。
• 自己教師付きVQWav2vec特徴量とダイナミック畳み込みをGANベースのVCフレームワークに統合することの有効性を検討すること。
• パrameter数を削減し、推論速度を向上させながらも、多数対多数の音声変換を可能にすること。

提案手法

• 生の音声から軽量でスプーカー不変な埋め込みを抽出するために、自己教師付き音声表現モデルであるVQWav2vecを用いる。
• 非自己回帰型生成ネットワークを採用することで、並列推論を可能にし、デコード時間を顕著に短縮する。
• 自己注意機構のパラメータ効率的な代替手段として、入力特徴量からカーネル重みを生成するダイナミック畳み込みを導入する。
• スタイルモジュレーションのためのWadaIN（重み付きAdaIN）を適用し、効果的なスプーカー埋め込みの条件付けを実現する。
• 生成波形の音声品質と現実性を向上させるために、GANディスクライマを採用する。
• メルスペクトログ램から高精細な波形を再構成するために、Parallel WaveGANをボコーダとして利用する。

実験結果

リサーチクエスチョン

• RQ1 自己回帰型ASR-TTSモデルと比較して、顕著に少ないパラメータ数と高速な推論を実現する非自己回帰型GANベースの音声変換モデルは、競争力のある性能を達成できるか？
• RQ2 VQWav2vec埋め込みは、コンテンツ表現およびスプーカー表現の観点から、音声変換においてASRモデルの代替として効果的か？
• RQ3 標準的または自己注意層と比較して、ダイナミック畳み込みは音声変換におけるモデリング効率性と性能向上にどの程度寄与するか？
• RQ4 VQWav2vecとダイナミック畳み込みの組み合わせにより、最小限のパラメータオーバーヘッドで高品質な多数対多数の音声変換が可能になるか？

主な発見

• DYGAN-VCはVCC2020ベンチマークで平均意見評価（MOS）3.86を達成し、SOTAとされるカスケードASR-TTSモデル（3.81）に非常に近い性能を示した。
• 文字誤り率（CER）を最大4.3%まで低下させ、変換における言語的忠実性が優れていることを示した。
• CPU上でのデコード速度は5.4 RTFに達し、ベースラインのカスケードASR-TTSモデル（46.1 RTF）と比較して8.5倍高速であった。
• 生成器のパラメータ数は700万で、1億500万パラメータを有するカスケードASR-TTSモデルの約半分のサイズにまで削減された。
• アブレーションスタディの結果、ダイナミック畳み込みとWadaINの組み合わせがMCD、CER、WERの各指標で最高の性能を示した。
• 主観評価では、F-Mを除く全方向でスプーカー類似度がベースラインを上回ったが、自然さのスコアはほぼ同等を維持した。