[論文レビュー] CUHK-EE Voice Cloning System for ICASSP 2021 M2VoC Challenge

Daxin Tan, Hing-Pang Huang+2 more|arXiv (Cornell University)|Mar 8, 2021

Speech Recognition and Synthesis参考文献 20被引用数 4

ひとこと要約

本論文は、ICASSP 2021 M2VoC チャレンジ向けに開発された CUHK-EE ボイスクラーニングシステムを提示する。このシステムは、エンドツーエンドのボイスクラーニングを実現するため、ハイブリッドな Tacotron2 と DurIAN 音声モデルに加え、Hifigan ボコーダーを採用している。マルチスプーカー学習、100発話分のターゲットスプーカーへの適応、およびディュレーション予測子を用いることで、優れたスプーカー類似度とスタイル転送を達成し、トラック 1b においてスプーカー類似度で 3.8365 MOS、スタイル類似度で 3.6163 MOS を記録。22チーム中13位の順位を達成した。

ABSTRACT

This paper presents the CUHK-EE voice cloning system for ICASSP 2021 M2VoC challenge. The challenge provides two Mandarin speech corpora: the AIShell-3 corpus of 218 speakers with noise and reverberation and the MST corpus including high-quality speech of one male and one female speakers. 100 and 5 utterances of 3 target speakers in different voice and style are provided in track 1 and 2 respectively, and the participants are required to synthesize speech in target speaker's voice and style. We take part in the track 1 and carry out voice cloning based on 100 utterances of target speakers. An end-to-end voicing cloning system is developed to accomplish the task, which includes: 1. a text and speech front-end module with the help of forced alignment, 2. an acoustic model combining Tacotron2 and DurIAN to predict melspectrogram, 3. a Hifigan vocoder for waveform generation. Our system comprises three stages: multi-speaker training stage, target speaker adaption stage and target speaker synthesis stage. Our team is identified as T17. The subjective evaluation results provided by the challenge organizer demonstrate the effectiveness of our system. Audio samples are available at our demo page: https://daxintan-cuhk.github.io/CUHK-EE-system-M2VoC-challenge/ .

研究の動機と目的

• 限られたデータを用いて、ターゲットスプーカーの声とスタイルに合成された音声を生成できる堅牢なエンドツーエンドのボイスクラーニングシステムの開発。
• 少数のターゲットスプーカー発話データを用いた低リソース環境下で、Tacotron2 と DurIAN の組み合わせがプロソディーとアライメントに与える効果の調査。
• ゼロショットまたはフェイシュート設定下で、外部データの導入がボイスクラーニング性能に与える影響の評価。
• 制限された学習条件下でも、高いスプーカー類似度とスタイル転送品質を達成すること。

提案手法

• テキストと音声のフロントエンドモジュールは、pypinyin を用いてグラフムから音素への変換を実行し、モントリオールフォースドアライナー（MFA）を用いて音素レベルのフォースドアライメントを実施し、真値のディュレーションを抽出する。
• 音声モデルは Tacotron2 と DurIAN をハイブリッドに組み合わせ、音素列と真値のディュレーションを入力として、明示的なディュレーション予測子を訓練することで、アライメントとプロソディーの改善を図る。
• 事前学習済みの Hifigan ボコーダーは、ターゲットスプーカー適応段階で、真値波形と、適応済み音声モデルが出力する合成メルスペクトログラムを用いて微調整される。
• 本システムは、3段階のパイプラインに従う：マルチスプーカー学習、100発話分のターゲットスプーカー適応、およびトラック 1a では外部データなし、トラック 1b では外部データありのターゲットスプーカー合成。
• ディュレーション予測子は、音素列からフレームレベルのディュレーションを予測するため、双方向LSTMと線形層を用い、平均二乗誤差（MSE）損失を用いる。
• ボコーダー適応は、適応済み音声モデルが出力するメルスペクトログラムと対応する真値波形を用いて、3000ステップ分の学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 限られたターゲットスプーカー発話データを用いた少数ショットボイスクラーニングにおいて、ハイブリッドな Tacotron2 と DurIAN 音声モデルはどの程度有効であるか？
• RQ2 マルチスプーカーTTSシステムを100発話分のデータでの微調整する場合、スプーカー類似度とスタイル類似度はどの程度保持できるか？
• RQ3 外部データの導入が、音声品質、スプーカー類似度、スタイル転送の観点からボイスクラーニング性能に顕著な向上をもたらすか？
• RQ4 フォースドアライメントに基づいて学習されたディュレーション予測子は、エンドツーエンドTTSにおけるボイスクラーニングのアライメントとプロソディーにどの程度改善をもたらすか？

主な発見

• トラック 1a において、本システムは音声品質の平均意見スコア（MOS）が 3.5845 ± 0.0563 を記録し、提出された18システム中11位であった。
• トラック 1b において、外部データを活用した結果、音声品質のMOSは 3.9630 ± 0.0468 に上昇し、22チーム中13位となった。
• スプーカー類似度では、トラック 1a で 3.7470 ± 0.0499（18チーム中10位）、トラック 1b で 3.8365 ± 0.0499（22チーム中13位）を記録した。
• スタイル類似度では、トラック 1a で 3.6840 ± 0.0410（18チーム中12位）、トラック 1b で 3.6163 ± 0.0417（22チーム中15位）を達成した。
• 結果から、本システムは妥当な性能を示しているものの、特にスプーカー類似度とスタイル類似度の分野には大きな改善の余地があることが示された。
• トラック 1b における外部データの活用は、すべてのMOS指標で顕著な向上をもたらした。これは、低リソース環境下のボイスクラーニングにおいて外部データの価値を示している。