[論文レビュー] Global Rhythm Style Transfer Without Text Transcriptions

Kaizhi Qian, Yang Zhang+5 more|arXiv (Cornell University)|Jun 16, 2021

Speech Recognition and Synthesis参考文献 42被引用数 12

ひとこと要約

本稿では、テキストの発音表記や詳細なプロソディーのアノテーションを必要とせずにリズムとピッチを分離する、自己符号化器に基づく非教師ありフレームワークであるAutoPSTを提案する。自己表現的表現学習を指針とするリズム除去モジュールと二段階訓練戦略を採用することで、AutoPSTは特にリズムの転送を効果的に行い、主観的類似性および詳細なリズム回復においてベースラインを著しく上回る性能を発揮する。

ABSTRACT

Prosody plays an important role in characterizing the style of a speaker or an emotion, but most non-parallel voice or emotion style transfer algorithms do not convert any prosody information. Two major components of prosody are pitch and rhythm. Disentangling the prosody information, particularly the rhythm component, from the speech is challenging because it involves breaking the synchrony between the input speech and the disentangled speech representation. As a result, most existing prosody style transfer algorithms would need to rely on some form of text transcriptions to identify the content information, which confines their application to high-resource languages only. Recently, SpeechSplit has made sizeable progress towards unsupervised prosody style transfer, but it is unable to extract high-level global prosody style in an unsupervised manner. In this paper, we propose AutoPST, which can disentangle global prosody style from speech without relying on any text transcriptions. AutoPST is an Autoencoder-based Prosody Style Transfer framework with a thorough rhythm removal module guided by the self-expressive representation learning. Experiments on different style transfer tasks show that AutoPST can effectively convert prosody that correctly reflects the styles of the target domains.

研究の動機と目的

• テキスト発音表記や局所的プロソディーのアノテーションに依存せずに、音声におけるグローバルプロソディースタイル転送を実現すること。
• コンテンツを保存しつつ、非教師的にリズムとピッチの成分を音声表現から分離すること。
• テキスト発音表記が入手不可である低リソースまたはゼロリソース言語環境においても、効果的なプロソディー転送を可能にすること。
• 話者や感情のスタイル転送タスクにおいて、特にリズムおよび発話速度の観点から、主観的品質および正確性を向上させること。
• ドメイン特化のプロソディー正解データを必要とせず、ボイスや感情のスタイル転送を含む多様なスタイル転送応用に汎用性を持つフレームワークを構築すること。

提案手法

• AutoPSTは、リズムがコンテンツ表現に漏れ込むのを防ぐために二段階訓練プロセスを用いる自己符号化器ベースのフレームワークであり、音声をコンテンツ、トーン、プロソディーの成分に分解する。
• 自己表現的表現学習を指針とする新規のリズム除去モジュールを導入し、リズムパターンのコンactかつ分離された表現を学習するようモデルを促進する。
• 自己表現的表現学習部は、各音声表現が他の表現の線形結合として表現可能であることを強制することで、頑健で分離されたリズムモデリングを促進する。
• 同じコンテンツの異なるスタイル間の潜在コードを整列させるためのコントラスト損失を用い、スタイル転送中にコンテンツの保存を保証する。
• 二段階訓練戦略により、まずリズムを除去しながらコンテンツの再構成を学習し、次にコンテンツを保存しつつターゲットドメインにプロソディーを転送するように微調整する。
• 忠実なスタイル転送を保証するため、再構成損失、コントラスト損失、およびサイクル整合性損失を組み合わせて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 テキスト発音表記や詳細なプロソディーのアノテーションがなくても、グローバルプロソディースタイル転送を達成できるか？
• RQ2 発音表記とのアライメントに依存せずに、自己表現的表現学習アプローチがリズムを効果的に音声から分離できるか？
• RQ3 提案されたAutoPSTフレームワークは、既存の非教師ありベースラインと比較して、主観的に優れたプロソディー転送を達成するか？
• RQ4 AutoPSTは、異常に長い単語（例：2倍に引き伸ばされた'yellow'）のような詳細なリズムパターンを回復できるか、それとも単に全体の発話速度を調整するにとどまるか？
• RQ5 感情固有の正解プロソディーデータが入手不可な状況において、AutoPSTは非並列な感情スタイル転送タスクにどの程度一般化できるか？

主な発見

• 主観評価において、AutoPSTはプロソディー類似度でベースラインを著しく上回り、ターゲット話者に非常に近いと感じられることを示した。AutoVC や RR よりも顕著に優れた性能を発揮した。
• 話者スタイル転送において、AutoPSTはリズムとピッチのなだらかさを効果的に転送し、ベースラインと比較して顕著に高いプロソディー類似度スコアを達成した。
• 異常に長い単語（例：'yellow'が2倍に引き伸ばされたもの）を効果的に回復し、元の長さに戻すことができた。これは、詳細なリズムパターン認識が可能であることを示している。
• 感情スタイル転送において、AutoPSTは速い（ニュートラル）と遅い（眠い）感情間の相対的長さの差を正の値に保った。これは正しいリズム転送が行われたことを示しており、ベースラインは同様の結果を達成できなかった。
• AutoVCと同等の高いトーン類似度を維持しており、プロソディー転送がトーン品質を損なわないことを示した。また、スタイル全体の転送により、全体の主観的類似度がより高くなった。
• 未学習の感情カテゴリーや話者アイデンティティに対しても、良好な一般化性能を示しており、多様なドメイン間で頑健で移行可能な性能を有していることがわかった。