[論文レビュー] Bootstrapping non-parallel voice conversion from speaker-adaptive text-to-speech

Hieu-Thi Luong, Junichi Yamagishi|arXiv (Cornell University)|Sep 14, 2019

Speech Recognition and Synthesis参考文献 39被引用数 7

ひとこと要約

本稿では、非並列音声変換（VC）システムを、事前学習済みのスプーカー適応型音声合成（TTS）モデルからブートストラップするための新規フレームワークを提案する。これにより、最小限のターゲットスプーカー音声データで低リソースVCが可能になる。非翻訳音声を用いたバックプロパゲーションベースの適応を活用することで、言語内VCにおいて競争力のある性能を達成し、言語間VCおよび言語間スプーカー適応の可能性を示した。未学習の言語に対しても有効である。

ABSTRACT

Voice conversion (VC) and text-to-speech (TTS) are two tasks that share a similar objective, generating speech with a target voice. However, they are usually developed independently under vastly different frameworks. In this paper, we propose a methodology to bootstrap a VC system from a pretrained speaker-adaptive TTS model and unify the techniques as well as the interpretations of these two tasks. Moreover by offloading the heavy data demand to the training stage of the TTS model, our VC system can be built using a small amount of target speaker speech data. It also opens up the possibility of using speech in a foreign unseen language to build the system. Our subjective evaluations show that the proposed framework is able to not only achieve competitive performance in the standard intra-language scenario but also adapt and convert using speech utterances in an unseen language.

研究の動機と目的

• スプーカー適応型TTSを用いてVCとTTSを統一的なフレームワークで統合し、VCのブートストラップを実現すること。
• TTSの事前学習段階で重いデータ要件を担わせることで、VCのデータ依存性を低減し、ターゲットスプーカー音声を少量で利用可能にすること。
• ターゲットスプーカーの非翻訳外国語発話に適応することで、低リソースまたは未学習言語におけるVCを可能にすること。
• 言語間シナリオにおけるシステム性能を評価すること。具体的には、言語間スプーカー適応および言語内音声変換を含む。

提案手法

• 非翻訳音声上でバックプロパゲーションによる微調整が施されたスプーカー適応型TTSモデルを用い、スプーカー不変の言語的埋め込み（LLE）を抽出する。
• ターゲットスプーカー発話の微調整を、エンドツーエンドのバックプロパゲーションを用いて音声モデルに適用することで、TTSモデルのスプーカー適応能力をVCシステムに移転する。
• 言語的コンテンツとスプーカー特徴を分離するため、潜在変数（LLE）を用いてスプーカー特性と言語的コンテンツを分離する。
• 並列データを必要とせず、適応されたTTSモデルを介してソーススプーカー特徴をターゲットスプーカー特徴にマッピングすることで、非並列設定でVCシステムを訓練する。
• 外国語の発話を用いてターゲットスプーカーに適応することで、同じフレームワークを言語間シナリオに適用し、ゼロリソース適応タスクとして扱う。
• 変換中に発話速度と言語的コンテンツを保持するため、sequence-to-sequenceアーキテクチャを用い、自然なプロソディを確保する。

実験結果

リサーチクエスチョン

• RQ1 スプーカー適応型TTSモデルから非並列VCシステムを有効にブートストラップでき、データ依存性を低減できるか？
• RQ2 非翻訳で未学習の言語発話を用いた場合、提案フレームワークの言語間VC性能はどの程度か？
• RQ3 低リソース言語シナリオにおいて、競争力のあるスプーカー類似度と音声品質を達成できるか？
• RQ4 言語間スプーカー適応は性能を低下させるか？それでも知覚的に許容できる結果を生成できるか？

主な発見

• 提案フレームワークは、標準的な言語内VCにおいて競争力のある性能を達成し、VCC2018ベンチマークで音声品質で3位、スプーカー類似度で6位を記録した。
• 主観的評価により、同性別および異性別スプーカー対において一貫した性能を示し、頑健性が確認された。
• 低リソース言語シナリオ（EE-J および EJ-J）において、言語間変換が可能であることを示した。EJ-JはEE-Jを上回る性能を示し、ある程度の言語間転送が可能であることを示唆した。
• 類似度評価では、同じバイリンガルスプーカーが発話した自然な英語発話（NA-E）は自然な日本語発話（NA-J）よりも顕著に低い評価を受けた。これは、言語間類似度認識に課題があることを示している。
• 今後の多言語VC研究の強力なベースラインを確立した。特に、追加の多言語データが利用可能になった場合に顕著に効果を発揮するだろう。