[論文レビュー] The Sequence-to-Sequence Baseline for the Voice Conversion Challenge 2020: Cascading ASR and TTS

Wen-Chin Huang, Tomoki Hayashi+2 more|arXiv (Cornell University)|Oct 6, 2020

Speech Recognition and Synthesis被引用数 7

ひとこと要約

本論文は、ESPnetと事前学習モデルを用いた段階的ASRおよびTTSパイプラインを活用して、Voice Conversion Challenge 2020のシーケンス・ツー・シーケンス（seq2seq）ベースラインシステムを提示する。単純であるにもかかわらず、変換類似度で全体で2位という優れた性能を達成しており、非並列データおよび限定的な微調整データでも、話者ID変換におけるseq2seqモデリングの強力な可能性を示している。

ABSTRACT

This paper presents the sequence-to-sequence (seq2seq) baseline system for the voice conversion challenge (VCC) 2020. We consider a naive approach for voice conversion (VC), which is to first transcribe the input speech with an automatic speech recognition (ASR) model, followed using the transcriptions to generate the voice of the target with a text-to-speech (TTS) model. We revisit this method under a sequence-to-sequence (seq2seq) framework by utilizing ESPnet, an open-source end-to-end speech processing toolkit, and the many well-configured pretrained models provided by the community. Official evaluation results show that our system comes out top among the participating systems in terms of conversion similarity, demonstrating the promising ability of seq2seq models to convert speaker identity. The implementation is made open-source at: https://github.com/espnet/espnet/tree/master/egs/vcc20.

研究の動機と目的

• 段階的ASRおよびTTSパイプラインを用いた、シンプルでオープンソースかつ競争力のある音声変換ベースラインを確立すること。
• 特に非並列学習データ条件下でのseq2seqモデルの音声変換における有効性を評価すること。
• 特に異言語音声変換において、低リソース環境での事前学習済みASRおよびTTSモデルの性能を調査すること。
• 限定的な微調整データを用いた段階的システムにおいて、品質および話法の明瞭性に顕著な制限が生じる理由を特定すること。
• 特に分野の新参者を想定して、今後の音声変換研究のベンチマークを提供すること。

提案手法

• システムは、話者に依存しないseq2seq ASRモデルを用いて、元の音声を言語的コンテンツに変換し、音声的およびプロソディックな情報を保持する。
• 各ターゲット話者の限定的データ（70発話）に対して、話者に依存するseq2seq TTSモデルを微調整し、ターゲット話者の声で音声を合成する。
• TTSモデルは、まず大規模な多言語TTSデータセットを用いた事前学習を行い、その後ターゲット固有のデータで微調整する。
• 非自己回帰型神経音声生成器を用いて最終的な音声波形を生成し、推論速度を最優先する。
• すべてのモジュールはESPnetで実装され、コミュニティが提供する事前学習済みモデルと標準化されたトレーニングプロトコルを活用する。
• システムはVCC2020の2つのタスク（言語内での準並列VCおよび異言語VC）で評価され、主観的および客観的指標が用いられる。

実験結果

リサーチクエスチョン

• RQ1 段階的seq2seq ASR+TTSパイプラインは、エンドツーエンドでないにもかかわらず、音声変換で競争力のある性能を達成できるか？
• RQ2 低リソース、非並列音声変換環境において、事前学習済みASRおよびTTSモデルの使用はどの程度有効か？
• RQ3 段階的システムにおける主な性能ボトルネックは何か、特に音声品質および話法の明瞭性に注目して。
• RQ4 seq2seqモデリングは、音声変換中にピッチ、発話時間、発話速度といったプロソディック特徴をどの程度保持できるか？
• RQ5 特に不慣れなターゲット言語を含む異言語設定において、システムの性能はどの程度のものか？

主な発見

• システムは約90%の変換類似度スコアを達成し、VCC2020チャレンジで28チーム中2位となり、話者IDの効果的な移行を示している。
• タスク1（言語内準並列）では、自然さのMOSが3.0、類似度スコアが90%を記録し、高品質な出力を示している。
• タスク2（異言語）では、自然さのMOSが2.0に低下し、28チーム中21位にとどまり、品質の著しい劣化が確認された。
• 類似度スコアは28チーム中9位を維持しており、言語的およびデータ的差異がある中でも、話者特徴を効果的に保持していることが示された。
• 変換音声におけるASR誤り率は、元の音声よりも顕著に高く、TTSモデリングの不完全さが話法の明瞭性劣化の主な要因であると示された。
• トップチームとの性能差は、主にターゲット話者1人あたり70発話という限定的な微調整データに起因しており、データ不足が主な課題であることが浮き彫りになった。