[論文レビュー] Natural language guidance of high-fidelity text-to-speech with synthetic annotations

Dan Lyth, Simon King|arXiv (Cornell University)|Feb 2, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文は、45,000時間のデータセット上で自己教師付きラベリングを用いて、発音のアクセント、ピッチ、発話速度、録音環境などの音声属性を合成することで、自然言語による条件付けを用いた、スケーラブルで完全に自動化された高精細音声合成手法を提案する。本手法は、1%の高精細データと最新の音声コーデックを用い、1つのモデルとプロンプトによるゼロショット制御で、最先端の音声品質と自然さを達成しており、先行研究のAudioboxを上回っている。

ABSTRACT

Text-to-speech models trained on large-scale datasets have demonstrated impressive in-context learning capabilities and naturalness. However, control of speaker identity and style in these models typically requires conditioning on reference speech recordings, limiting creative applications. Alternatively, natural language prompting of speaker identity and style has demonstrated promising results and provides an intuitive method of control. However, reliance on human-labeled descriptions prevents scaling to large datasets. Our work bridges the gap between these two approaches. We propose a scalable method for labeling various aspects of speaker identity, style, and recording conditions. We then apply this method to a 45k hour dataset, which we use to train a speech language model. Furthermore, we propose simple methods for increasing audio fidelity, significantly outperforming recent work despite relying entirely on found data. Our results demonstrate high-fidelity speech generation in a diverse range of accents, prosodic styles, channel conditions, and acoustic conditions, all accomplished with a single model and intuitive natural language conditioning. Audio samples can be heard at https://text-description-to-speech.com/.

研究の動機と目的

• 自然言語制御TTSにおける人間による音声記述のアノテーションのスケーラビリティのボトル neck を克服すること。
• 自然言語プロンプトのみを用いて、発音のアクセント、プロソディ、録音環境の多様な組み合わせを含めた高精細で多様な音声生成を可能にすること。
• 話者アイデンティティ、スタイル、チャネル条件の未観測な組み合わせに対しても一般化可能な統合音声言語モデルを訓練すること。
• 最新の音声コーデックを活用することで、高精細データを最小限に抑えた状態でも高音質な音声を達成すること。
• 自動ラベリングが人間によるアノテーションベースラインと同等またはそれを上回る性能を示すかどうかを実証すること。

提案手法

• 45,000時間のデータセット上で、計算的指標と自己教師付きモデリングの組み合わせを用いて、性別、アクセント、ピッチ、発話速度、チャネル条件などの音声属性を自動で抽出・ラベリングする。
• 自動アノテーション済みデータでファインチューニングされた大規模な音声言語モデルを用い、自然言語記述に条件づけられた音声を生成する。
• DAC音声コーデックを適用することで、訓練データに高精細サンプルが1%しか含まれない場合でも、音声の精細度を向上させる。
• 小規模な高品質サブセット（LibriTTS-R、約500時間）を活用し、多数の低精細データに囲まれた中でも、高精細出力をモデルが指向するように導く。
• 複数の属性を独立に制御できる自然言語記述をプロンプトとして与えることで、多様な音声サンプルを生成する。
• 公平な主観的評価のため、ラウドネス正規化とサイレント部分のトリミングを実施し、正解データおよびベースラインと一貫した比較を保証する。

Figure 1 : Overview of the model architecture

実験結果

リサーチクエスチョン

• RQ1 完全に自動化され、合成されたアノテーションによる音声属性ラベリングが、自然言語制御によるスケーラブルで高精細なTTSを可能にするか？
• RQ2 1つのモデルが、自然言語プロンプトのみを用いて、話者アイデンティティ、プロソディ、録音環境の未観測な組み合わせにどの程度一般化できるか？
• RQ3 合成アノテーションと高度な音声コーデックを組み合わせることで、高精細データを最小限に抑えた状態でも高音質な音声を達成できるか？
• RQ4 自動ラベリングされたデータで訓練されたモデルの性能は、人間によるアノテーションデータで訓練されたモデルと比べて、自然さと記述との整合性の面で優れているか？
• RQ5 最新の音声コーデック（DAC）を合成ラベリングと組み合わせ、限られた高精細データを用いた場合に、音声品質が顕著に向上するか？

主な発見

• 主観的自然さ評価において、モデルのMOSは3.92を達成し、Audiobox（2.79）を大きく上回り、正解データ（3.67）をも上回っている。
• 記述との整合性に関しては、モデルが3.88を記録し、Audiobox（3.19）と正解データ（3.62）を上回っており、プロンプト指示への適合性が優れていることが示された。
• PESQスコアは3.84と正解（4.15）に近く、STOIは0.996を記録しており、高い音声の明瞭さと品質を示している。
• 訓練データに高精細データが約500時間（全データの1%）しか含まれないにもかかわらず、Audiobox（より多くのデータと人間によるアノテーションを用いている）を上回る、知覚的な音声品質を達成している。
• 客観的指標では、モデルが合成したラベル（例：ピッチ、発話速度）が記述ラベルと強く相関しており、95%信頼区間から高い信頼性が示された。
• 非ネイティブアクセントやノイズの多い録音環境といった、未観測の属性の組み合わせに対しても、1つの自然言語プロンプトで制御可能な一般化性能を示している。

Figure 2 : Estimated SNR across the MLS dataset and the discrete bin boundaries used to create keywords.