[論文レビュー] Transfer Learning from Monolingual ASR to Transcription-free Cross-lingual Voice Conversion

Che‐Jui Chang|arXiv (Cornell University)|Sep 30, 2020

Speech Recognition and Synthesis参考文献 28被引用数 4

ひとこと要約

本稿では、モノリンガル音声認識（ASR）モデルからの転移学習を活用して、異なる言語間のコンテンツをアライメントする、トランスクリプション不要のクロスリンガル音声変換手法を提案する。事前学習済みのASRモデルを用いてソース言語の音声から発音特徴を抽出し、Seq2Seqモデルを訓練してターゲットのメルスペクトログ램を予測することで、並列データやトランスクリプションを一切必要としないスケーラー依存の音声変換を実現した。VCC 2020データセットにおいて、音声品質のMOSスコアは3.83、類似性のMOSスコアは3.54を達成した。

ABSTRACT

Cross-lingual voice conversion (VC) is a task that aims to synthesize target voices with the same content while source and target speakers speak in different languages. Its challenge lies in the fact that the source and target data are naturally non-parallel, and it is even difficult to bridge the gaps between languages with no transcriptions provided. In this paper, we focus on knowledge transfer from monolin-gual ASR to cross-lingual VC, in order to address the con-tent mismatch problem. To achieve this, we first train a monolingual acoustic model for the source language, use it to extract phonetic features for all the speech in the VC dataset, and then train a Seq2Seq conversion model to pre-dict the mel-spectrograms. We successfully address cross-lingual VC without any transcription or language-specific knowledge for foreign speech. We experiment this on Voice Conversion Challenge 2020 datasets and show that our speaker-dependent conversion model outperforms the zero-shot baseline, achieving MOS of 3.83 and 3.54 in speech quality and speaker similarity for cross-lingual conversion. When compared to Cascade ASR-TTS method, our proposed one significantly reduces the MOS drop be-tween intra- and cross-lingual conversion.

研究の動機と目的

• ソース言語とターゲット言語が非並列的で、トランスクリプションが利用できない状況下で、コンテンツ不一致の問題に対処すること。
• モノリンガルASRモデルからの知識転送を活用し、ゼロショットクロスリンガル音声変換におけるアライメントと合成の質を向上させること。
• 言語固有のモデルやトランスクリプションに基づく監視を一切用いずに、イントラリンガルとクロスリンガル音声変換の性能ギャップを縮小すること。
• ソース言語のASRモデルから得られる音声特徴のみを用いて、言語を跨いで一般化可能なスケーラー依存の音声変換システムを構築すること。

提案手法

• データセット内のすべての音声から発音埋め込みを抽出できるよう、ソース言語でモノリンガルASRモデルを学習する。
• 学習済みのASRモデルを用いて、ソースおよびターゲット音声の両方の内容に一致する発音表現を生成し、クロスリンガルアライメントを実現する。
• 抽出された発音特徴をSeq2Seqアーキテクチャに供給し、ソース音声から直接ターゲットスケーラーのメルスペクトログラムを予測する。
• トランスクリプションや言語固有のモデルを必要とせず、音声特徴とターゲットスケーラー埋め込みのみを用いて、Seq2Seqモデルをエンドツーエンドで訓練する。
• 推論時にスケーラー依存の条件付けを適用し、合成音声におけるターゲットスケーラーの個性を保持する。
• VCC 2020データセットを用いて評価を行い、ゼロショットおよびカスケードASR-TTSベースラインと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 トランスクリプションを一切必要とせず、モノリンガルASRモデルを用いて、言語間でコンテンツ表現を効果的に転送できるか？
• RQ2 ASRからの知識転送は、ゼロショット法やカスケード法と比較して、どのようにクロスリンガル音声変換の性能を向上させるか？
• RQ3 ソース言語のASRモデルから抽出された発音特徴は、どの程度の範囲でターゲット言語におけるコンテンツ保持音声変換を可能にするか？
• RQ4 提案手法は、既存の手法と比較して、イントラリンガルとクロスリンガル変換の間のMOSスコア低下を軽減できるか？

主な発見

• 提案手法は、VCC 2020データセットにおいて、音声品質のMOSスコアが3.83、スケーラー類似性のMOSスコアが3.54を達成した。
• ゼロショットベースラインと比較して、音声品質およびスケーラー類似性の両面で優れた性能を示し、モノリンガルASR転移の有効性を裏付けた。
• カスケードASR-TTS法と比較して、イントラリンガルとクロスリンガル変換の間のMOSスコア低下が顕著に小さく抑えられ、より優れた一般化性能を示した。
• 並列データやトランスクリプション、言語固有のモデルを一切必要とせず、スケーラー依存の音声変換を成功裏に実現した。
• ソース言語のASRモデルから抽出された発音特徴は、クロスリンガルアライメントに十分なコンテンツ表現を提供することができた。