[論文レビュー] Review of end-to-end speech synthesis technology based on deep learning

Zhaoxi Mu, Xinyu Yang+1 more|arXiv (Cornell University)|Apr 20, 2021

Speech Recognition and Synthesis参考文献 192被引用数 20

ひとこと要約

この論文は、エンドツーエンドのディープラーニングベースの音声合成（TTS）システムをレビューし、テキストフロントエンド、音響モデル、ボコーダーの3つのコアコンponentsを分析しながら、設計の焦点に基づいて手法を比較している。最先端の性能が人間の話し声に近いことを強調するとともに、微細なスタイル制御、教師なし表現学習、完全エンドツーエンドの学習、画像生成およびASR/NMTからのクロストラスクーリングの未解決課題を特定している。

ABSTRACT

As an indispensable part of modern human-computer interaction system, speech synthesis technology helps users get the output of intelligent machine more easily and intuitively, thus has attracted more and more attention. Due to the limitations of high complexity and low efficiency of traditional speech synthesis technology, the current research focus is the deep learning-based end-to-end speech synthesis technology, which has more powerful modeling ability and a simpler pipeline. It mainly consists of three modules: text front-end, acoustic model, and vocoder. This paper reviews the research status of these three parts, and classifies and compares various methods according to their emphasis. Moreover, this paper also summarizes the open-source speech corpus of English, Chinese and other languages that can be used for speech synthesis tasks, and introduces some commonly used subjective and objective speech quality evaluation method. Finally, some attractive future research directions are pointed out.

研究の動機と目的

• エンドツーエンドのディープラーニングベースのTTS技術について、モデリング、トレーニング、推論における最近の進展に焦点を当て、体系的なレビューを提供すること。
• テキストフロントエンド、音響モデル、ボコーダーというTTSの3大コンponentsにわたり、設計および性能に基づいて手法を分析・比較すること。
• TTS研究のための公開済みのマルチリンガル音声コーパスと標準的な評価指標を要約すること。
• スタイル制御、表現学習、完全エンドツーエンドフレームワークを含む、TTSにおける主な課題と今後の研究方向性を特定すること。
• 画像生成、機械翻訳、自動音声認識などの関連分野からの技術を応用することで、TTSのパフォーマンスとデータ効率を向上させることの可能性を検討すること。

提案手法

• テキストフロントエンド（例：発音記号ベース、サブワード、エンドツーエンドトークン化）、音響モデリング（例：Tacotron、FastSpeech、ClariNet）、ボコーダー設計（例：WaveNet、WaveGlow、WaveNetベースの自己回帰型またはフロー型モデル）に基づいてTTS手法を分類・比較する。
• 長距離依存性を扱うために、特にRNN、Transformers、自己注意機構を用いた深層ニューラルネットワークの利用をレビューする。
• ボコーダーの条件入力としての中間表現（例：メルスペクトログラム、生波形、言語的特徴）の役割を分析する。
• 自己回帰型およびフロー型生成モデル（例：正規化フロー、敵対的訓練）を用いたボコーダーにおける高精細度音声生成の実装を検討する。
• TTSとASR、スプーカー埋め込み、感情認識モデルを統合することで、マルチタスク学習と知識蒸留を実現する。
• 教師なし表現学習とメタラーニングを活用し、特に低リソース言語において大規模なアノテート済み音声-テキストペアに依存する必要を減らす。

実験結果

リサーチクエスチョン

• RQ1 テキストフロントエンド、音響モデル、ボコーダーにおける異なるアーキテクチャが、エンドツーエンドTTSシステムの品質と効率にどのように寄与しているか？
• RQ2 現在のTTSシステムが、語またはフレーズレベルでの感情、イントネーション、リズムといった微細な話し方スタイルをモデル化する上で直面する主な制限は何であるか？
• RQ3 教師なしまたは自己教師あり表現学習は、大規模な手動でトランスクリプトされた音声-テキストデータセットの必要性をどの程度低減できるか？
• RQ4 テキストを生波形に直接マッピングする完全エンドツーエンドTTSモデルは、中間の音響特徴を含むモジュラーパイプラインを上回る性能を発揮できるか？
• RQ5 画像生成、機械翻訳、自動音声認識分野からの技術をどのように応用することで、TTSのパフォーマンスとデータ効率を向上させられるか？

主な発見

• ディープラーニングに基づく最先端のエンドツーエンドTTSモデルは、自然さと聞き取りやすさの観点で人間の話し声とほとんど区別がつかない音声を合成できる。
• Tacotron 2 や WaveNet といったモデルは、標準ベンチマーク上でのMOS（平均意見スコア）が人間レベルのパフォーマンスに近づき、高い知覚的品質を達成している。
• TransformerベースのTTSモデルにおけるアテンション機構とリプルス接続の統合により、RNNベースのモデルと比較してアライメントの改善とトレーニングの不安定性の低減が実現された。
• 正規化フロー（例：WaveGlow）および自己回帰型モデル（例：WaveNet）に基づくボコーダーは、高い推論速度を維持しながらも、音声品質を著しく向上させた。
• 進展は見られるものの、現在のシステムは、感情やプロソディ（抑揚）といった、特に詳細なスタイル制御に依然として困難を抱えており、これは訓練データが限られたり、適切にアノテートされていないことが主な要因である。
• 低リソース言語における適切なテキスト-音声ペアの不足が大きな障壁となっており、現在のSOTAシステムは英語や中国語に限定されている。