[論文レビュー] DeviceTTS: A Small-Footprint, Fast, Stable Network for On-Device Text-to-Speech

Zhiying Huang, Hao Li+1 more|arXiv (Cornell University)|Oct 29, 2020

Speech Recognition and Synthesis参考文献 17被引用数 8

ひとこと要約

DeviceTTSは、デバイス内に統合可能な軽量で高速かつ安定したエンドツーエンド音声合成モデルを提案する。アライメントの安定化のためのデュレーション予測器、効率的なモデリングのためのDFSMNブロック、低コストで品質を向上させるミックス解像度デコーダーを採用し、わずか140万パラメータ、0.099 GFLOPSの計算コストで、準最先端の音声品質を達成している。

ABSTRACT

With the number of smart devices increasing, the demand for on-device text-to-speech (TTS) increases rapidly. In recent years, many prominent End-to-End TTS methods have been proposed, and have greatly improved the quality of synthesized speech. However, to ensure the qualified speech, most TTS systems depend on large and complex neural network models, and it's hard to deploy these TTS systems on-device. In this paper, a small-footprint, fast, stable network for on-device TTS is proposed, named as DeviceTTS. DeviceTTS makes use of a duration predictor as a bridge between encoder and decoder so as to avoid the problem of words skipping and repeating in Tacotron. As we all know, model size is a key factor for on-device TTS. For DeviceTTS, Deep Feedforward Sequential Memory Network (DFSMN) is used as the basic component. Moreover, to speed up inference, mix-resolution decoder is proposed for balance the inference speed and speech quality. Experiences are done with WORLD and LPCNet vocoder. Finally, with only 1.4 million model parameters and 0.099 GFLOPS, DeviceTTS achieves comparable performance with Tacotron and FastSpeech. As far as we know, the DeviceTTS can meet the needs of most of the devices in practical application.

研究の動機と目的

• 大規模なモデルサイズと高い推論コストのため、リソース制約のあるデバイスへの高品質TTSのデプロイの課題に対処すること。
• アテンションベースのモデルで一般的な単語の省略や繰り返しを回避するため、エンコーダーとデコーダーの間をブリッジするデュレーション予測器を導入することで、タコトロンにおける不安定性の問題を克服すること。
• 実用的なデバイス内アプリケーションに適した、モデルサイズと推論遅延を低減しながらも高品質な音声品質を維持すること。
• 新しいミックス解像度デコーダー構造を用いて、速度と品質のトレードオフを最適化すること。
• 小さな効率的なモデルが、タコトロン や ファーストスピーチと同等の性能をデバイス内に達成できることを実証すること。

提案手法

• 各音素ごとのフレーム数を予測するデュレーション予測器を採用し、アライメントの安定化を図り、アテンションベースのモデルで一般的な単語の省略・繰り返しを回避する。
• 深層フィードフォワード順序記憶ネットワーク（DFSMN）をコアとなる構成要素として採用し、強力な順序表現学習を実現する低パラメータで効率的なモデリングを実現する。
• まず並列に複数の音声フレームを予測する（r > 1）、次に軽量な自己回帰ネットワークで精緻化するという、ミックス解像度デコーダーを導入し、高品質を低コストで実現する。
• 複数フレーム予測を適用することで推論を高速化し、精緻化ステップにより自然さを維持しながら遅延を低減する。
• 再構成損失とデュレーション予測損失の両方を組み合わせて学習することで、音声特徴とアライメントの両方の品質を最適化する。
• 予測された音声特徴から高精細な音声を合成するために、WORLD および LPCNet ヴォコーダーを用い、異なるヴォコーダー種別での評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 小さな効率的なTTSモデルは、タコトロン や ファーストスピーチのような大規模で複雑なモデルと同等の音声品質を達成できるか、かつデバイス内にデプロイ可能か？
• RQ2 デュレーション予測器は、エンドツーエンドTTSにおけるアライメントの安定化と、単語の省略・繰り返しの防止にどの程度有効か？
• RQ3 DFSMNブロックは、パラメータ数を最小限に抑えつつ、大規模なアテンションベースやトランスフォーマー部品に置き換え可能で、性能を維持できるか？
• RQ4 ミックス解像度デコーダーは、低フットプリントモデルにおいて、計算コストを著しく増加させることなく音声品質を向上させられるか？
• RQ5 ミックス解像度デコーダーにおける自己回帰的精緻化ステップは、非自己回帰的代替手法に比べ、品質と遅延の両面で優れているか？

主な発見

• LPCNet ヴォコーダーを用いた場合、DeviceTTSは4.255の平均意見スコア（MOS）を達成し、準最先端の自然さを示した。WORLD ヴォコーダーを用いた場合も4.193のMOSを記録した。
• わずか140万パラメータ、0.099 GFLOPSの計算コストで、タコトロン（1350万パラメータ、0.491 GFLOPS）や ファーストスピーチ（3610万パラメータ、8.58 GFLOPS）よりもはるかに小型かつ高速である。
• アブレーションスタディの結果、ミックス解像度デコーダーを削除するとCMOSが0.254低下し、品質向上に果たすその重要性が確認された。
• ミックス解像度デコーダー内に組み込まれた自己回帰的精緻化ネットワークは、非自己回帰的代替手法と比較して、初フレームの推論コストを60％削減したが、MOSはわずか0.003の低下にとどまった。
• 長文の発話においても、DeviceTTSは安定した性能を維持し、未学習な系列長に対する一般化性能でファーストスピーチを上回った。
• モデルの小さなフットプリントと低計算コストにより、ほとんどのコンsumer級デバイスへのデプロイが可能であり、実用的なデバイス内TTS要件を満たしている。