[論文レビュー] Neural Sequence-to-Sequence Speech Synthesis Using a Hidden Semi-Markov Model Based Structured Attention Mechanism

Yoshihiko Nankaku, Kenta Sumiya+5 more|arXiv (Cornell University)|Aug 31, 2021

Speech Recognition and Synthesis参考文献 10被引用数 4

ひとこと要約

本論文は、変分自己オートエンコーダー（VAE）フレームワーク内に隠れ部分マーカフ・マルコフモデル（HSMM）を統合した構造的アテンション機構を備えた、新しいシーケンス・ツー・シーケンス音声合成モデルを提案する。アラインメントを潜在変数として明示的なデュレーションモデリングを伴ってモデル化することで、モノトニックでデュレーションに配慮したアテンションを実現し、小規模な学習データセットでも高い自然さとロバスト性を達成した。主観評価では、平均意見得点（MOS）がタコトロン2を上回り、優れた性能を示した。

ABSTRACT

This paper proposes a novel Sequence-to-Sequence (Seq2Seq) model integrating the structure of Hidden Semi-Markov Models (HSMMs) into its attention mechanism. In speech synthesis, it has been shown that methods based on Seq2Seq models using deep neural networks can synthesize high quality speech under the appropriate conditions. However, several essential problems still have remained, i.e., requiring large amounts of training data due to an excessive degree for freedom in alignment (mapping function between two sequences), and the difficulty in handling duration due to the lack of explicit duration modeling. The proposed method defines a generative models to realize the simultaneous optimization of alignments and model parameters based on the Variational Auto-Encoder (VAE) framework, and provides monotonic alignments and explicit duration modeling based on the structure of HSMM. The proposed method can be regarded as an integration of Hidden Markov Model (HMM) based speech synthesis and deep learning based speech synthesis using Seq2Seq models, incorporating both the benefits. Subjective evaluation experiments showed that the proposed method obtained higher mean opinion scores than Tacotron 2 on relatively small amount of training data.

研究の動機と目的

• 神経的TTSにおける標準的なSeq2Seqモデルが過剰なアテンション自由度により高いデータ要求と劣悪なアラインメントロバスト性を示す問題に対処する。
• ニューラルシーケンス・ツー・シーケンス音声合成に明示的なデュレーションモデリングを統合し、制御性と品質を向上させる。
• HMMに基づく音声合成（構造的アラインメントとデュレーションモデリング）の利点と、ディープラーニングベースのSeq2Seqモデルの利点を統合する。
• VAEフレームワークを用いてアラインメントとモデルパラメータを同時に最適化することで、特に限られた学習データ条件下での一般化性能を向上させる。

提案手法

• アラインメントを潜在変数としてHSMM構造を用いて表現する生成モデルを、変分自己オートエンコーダー（VAE）に基づいて定式化する。
• デュレーションを明示的にモデル化し、$ p(d_k \mid \xi_k, \eta_k^2) $ と定式化する。ここで $ \xi_k $ と $ \eta_k^2 $ はエンコーダーによって予測される。
• 構造的アテンション機構を採用し、デコーダーがエンコーダーの状態を、事前分布とエンコーダー出力に基づく最も確率の高い状態系列 $ \hat{\bm{z}} $ を通じて注目する。
• 2段階の訓練を実施：まずDNN-HSMMを用いてエンコーダーを事前学習し、次にVAEの目的関数を用いて全体を共同微調整する。
• 訓練中に誘導的アテンション損失（g=0.2）を適用し、モノトニックなアラインメントを促進することで、アテンションの過学習を低減する。
• VAEフレームワーク内で共通の事前分布とデュレーションエンコーダーを採用し、アラインメントと音声生成の両方を同時に最適化可能にする。

実験結果

リサーチクエスチョン

• RQ1 Seq2Seqモデルのアテンション機構にHSMM構造を統合することで、アラインメントのロバスト性を向上させ、データ依存性を低減できるか？
• RQ2 ニューラルTTSシステムに明示的なデュレーションモデリングを導入することで、合成音声の自然さと制御性が向上するか？
• RQ3 VAEベースのフレームワークは、小規模な学習データセットでもアラインメントとモデルパラメータを同時に最適化し、一般化性能を向上させられるか？
• RQ4 限られたデータ条件下で、本手法はタコトロン2およびDNN-HSMMと比較して、主観的音声品質に優れているか？
• RQ5 HSMMに基づく構造的アテンションは、アラインメントのモノトニック性を向上させ、アテンションの過学習をどれほど低減できるか？

主な発見

• 主観評価において、自然さの平均意見得点（MOS）が最高を記録し、タコトロン2およびDNN-HSMMを上回った。
• 450文の小規模な学習データセットでも、本手法はタコトロン2よりも優れたアラインメント品質を達成した。タコトロン2は過剰なアテンション自由度のため、アテンションの過学習に苦しんでいた。
• 構造的アテンションと明示的デュレーションモデリングを活用することで、データ不足に対してもロバストな性能を示し、少ないデータでも高品質な合成が可能になった。
• 同じデコーダー構造を用いるFRAMEよりも本手法が優れていたことから、VAEによるアラインメントとパラメータの共同最適化が有効であることが示された。
• HSMMに基づく構造的アテンションの統合により、全シーケンスにわたりモノトニックで一貫性のあるアラインメントが得られ、学習の安定性と一般化性能が向上した。
• VAEフレームワーク内で共通の事前分布とデュレーションエンコーダーを採用することで、アラインメントと音声モデリングの両面で効果的なエンドツーエンド学習が可能になった。