[論文レビュー] FastPitch: Parallel Text-to-speech with Pitch Prediction

Adrian Łańcucki|arXiv (Cornell University)|Jun 11, 2020

Speech Recognition and Synthesis参考文献 26被引用数 75

ひとこと要約

FastPitch は、推論時に基本周波数（F0）波形を明示的に予測し、条件付けすることで、音声品質と表現力を向上させる完全並列型音声合成モデルである。912倍のリアルタイム要因で音声波形を生成するため、アーキテクチャのオーバーヘッドを追加せずに最先端の品質を達成しており、インタラクティブなピッチ編集やピッチ変調時の話者識別性の維持が可能である。

ABSTRACT

We present FastPitch, a fully-parallel text-to-speech model based on FastSpeech, conditioned on fundamental frequency contours. The model predicts pitch contours during inference. By altering these predictions, the generated speech can be more expressive, better match the semantic of the utterance, and in the end more engaging to the listener. Uniformly increasing or decreasing pitch with FastPitch generates speech that resembles the voluntary modulation of voice. Conditioning on frequency contours improves the overall quality of synthesized speech, making it comparable to state-of-the-art. It does not introduce an overhead, and FastPitch retains the favorable, fully-parallel Transformer architecture, with over 900x real-time factor for mel-spectrogram synthesis of a typical utterance.

研究の動機と目的

• フィードフォワード型音声合成モデルの品質と表現力を向上させるために、明示的なピッチ予測を組み込むこと。
• 言語的文脈が不十分なために並列 TTS モデルで発生する発音の一貫性の欠如問題を、F0 波形に条件づけることで解決すること。
• 推論中にインタラクティブなピッチ編集を可能にしつつ、話者識別性と自然なプロソディを維持すること。
• 推論遅延やアーキテクチャの複雑さを追加せずに、自己回帰型モデルと同等の最先端の音声合成品質を達成すること。

提案手法

• 入力トークン1つあたり1つの F0 値を出力するピッチ予測ヘッドを備えた FastSpeech アーキテクチャを採用する。
• 1次元畳み込みニューラルネットワーク（1D CNN）に基づくピッチ予測器と、持続時間予測器を用いて、入力埋め込みからプロソディック特徴を予測する。
• 予測された F0 値を隠れ層次元に投影し、それらを入力表現に加算することでピッチ埋め込みを適用する。
• 予測された持続時間に基づいて、ピッチ埋め込み済み隠れ状態を離散的アップサンプリングし、出力メルスペクトログラムのフレームに一致させる。
• メルスペクトログラム再構成、ピッチ予測、持続時間予測の3つのタスクを組み合わせたマルチタスク損失関数を、平均二乗誤差を用いて最適化する。
• 事前学習済み Tacotron 2 モデルを用いて持続時間アライメントを抽出し、真値ピッチとして自己相関ベースの F0 評価を用いる。

実験結果

リサーチクエスチョン

• RQ1 基本周波数波形の明示的モデリングが、完全並列型音声合成モデルの品質と一貫性を向上させることができるか？
• RQ2 予測された F0 に条件づけることで、知識蒸留の必要性が減少し、フィードフォワード TTS における学習収束が改善されるか？
• RQ3 推論中にピッチをどれだけ自由に操作できるか。話者識別性を保持しつつ、自然で表現豊かな音声変化を生成できるか？
• RQ4 ピッチ条件づけが、並列 TTS システムにおけるリアルタイム性能と推論効率にどのように影響を与えるか？

主な発見

• NVIDIA A100 GPU 上で、FastPitch はメルスペクトログラム合成に 912 倍のリアルタイム要因を達成し、超高速な推論が可能である。
• WaveGlow ヴォコーダーを用いることで、音声合成全体が 63 倍のリアルタイム要因で実行され、リアルタイム応用に適している。
• LJSpeech の開発セットにおいて、平均評価得点（MOS）は 4.071 ± 0.164 を達成し、マルチスプーカー Tacotron 2（3.707）や Flowtron（3.882）を上回った。
• ピッチ条件づけは収束性を著しく向上させ、知識蒸留の必要性を排除し、学習を単純化した。
• 予測された F0 を ±50 Hz で一様にシフトすることで、自然な音声変化が得られ、話者識別性を保持し、声帯の振動モードを模倣した。
• さまざまな Tacotron 2 バリエーションから得られた異なる持続時間アライメントで学習したモデルは、同等の音声品質を達成しており、アライメントのばらつきに対しても頑健であることが示された。