[論文レビュー] Multi-task WaveNet: A Multi-task Generative Model for Statistical Parametric Speech Synthesis without Fundamental Frequency Conditions

Yu Gu, Yongguo Kang|arXiv (Cornell University)|Jun 22, 2018

Speech Recognition and Synthesis参考文献 19被引用数 5

ひとこと要約

本稿では、統計的パrametric音声合成（SPSS）のためのマルチタスク生成モデルであるMulti-task WaveNetを提案する。このモデルは、フレーム単位の音声特徴予測を二次的タスクとして統合することで、外部の基本周波数（F0）予測モデルの必要性を排除する。この手法により、音声の自然さが向上し、推論の複雑さが軽減され、客観的および主観的評価の両面で元のWaveNetを上回る性能を発揮する。

ABSTRACT

This paper introduces an improved generative model for statistical parametric speech synthesis (SPSS) based on WaveNet under a multi-task learning framework. Different from the original WaveNet model, the proposed Multi-task WaveNet employs the frame-level acoustic feature prediction as the secondary task and the external fundamental frequency prediction model for the original WaveNet can be removed. Therefore the improved WaveNet can generate high-quality speech waveforms only conditioned on linguistic features. Multi-task WaveNet can produce more natural and expressive speech by addressing the pitch prediction error accumulation issue and possesses more succinct inference procedures than the original WaveNet. Experimental results prove that the SPSS method proposed in this paper can achieve better performance than the state-of-the-art approach utilizing the original WaveNet in both objective and subjective preference tests.

研究の動機と目的

• 元のWaveNetが統計的パrametric音声合成（SPSS）において抱える限界、特に外部F0予測モデルへの依存を是正すること。
• WaveNetベースのTTSシステムにおける周波数予測による誤差蓄積と推論の複雑さを低減すること。
• F0予測を統合されたモデル内の二次的タスクとして統合することで、音声の自然さと表現力を向上させること。
• 基本周波数の条件付けを必要とせず、言語的特徴のみを入力として用いることで、より高品質な音声合成を達成すること。
• 分離されたF0推定の必要性を排除することで、モデルの効率性と頑健性を高め、TTSパイプラインを簡素化すること。

提案手法

• 主タスクとして自己回帰的波形生成、副タスクとしてフレーム単位の音声特徴予測を行うマルチタスク学習フレームワークを導入する。
• 共有エンコーダ層を備えたエンドツーエンドの学習により、音声特徴からピッチ関連のパターンをモデルが暗黙的に学習可能にする。
• 拡大された因果的畳み込み層を用いて、生の音声波形における長距離時系列依存性をモデル化する。
• 波形生成を言語的特徴のみに条件付けながら、F0情報は副タスクの音声特徴予測を通じて暗黙的に推定する。
• 元のWaveNetが要求する明示的なlog F0条件付けを、統合最適化により学習されたF0表現に置き換える。
• 波形生成損失と音声特徴予測損失の両方を含む組み合わせ損失関数を用いてモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習フレームワークにより、WaveNetベースのSPSSで外部F0予測モデルの必要性を排除できるか、音声品質が低下しないか？
• RQ2 音声特徴と波形生成の統合的予測が、音声の自然さとプロソディーにどのように影響を与えるか？
• RQ3 提案手法は、元のWaveNetと比較して、F0予測による誤差蓄積をどの程度低減できるか？
• RQ4 分離されたF0予測ステージを削除することで、推論効率が向上するか？
• RQ5 主観的好みと客観的指標において、元のWaveNetおよびベースラインシステムを上回る性能を達成できるか？

主な発見

• Multi-task WaveNetは、客観的および主観的評価の両面で元のWaveNetを上回り、統計的に有意な好みの向上を示した（コーパスAおよびBともにp < 0.001）。
• 元のWaveNetと比較して、より低い客観的歪み（例：MCDおよびPESQの低減）を達成しており、波形の忠実度が向上していることが示唆される。
• 主観的好みテストでは、両データセットにおいて95％のペアワイズ比較でMTL-WaveNetがWaveNetを上回り、p値はそれぞれ8.8×10⁻⁷（コーパスA）および5.6×10⁻⁹（コーパスB）であった。
• F0予測誤差の蓄積が、音声特徴予測タスクを通じたF0の暗黙的学習により低減され、プロソディの正確性が向上した。
• 推論プロセスが単純化され、より効率的になった。これは、別個のF0予測モデルの必要性がなくなったためである。
• 改善効果は、特に音声の細部とプロソディに顕著に現れ、全体の好みには必ずしも顕著でない場合でも、微細な品質向上が示されている。