[論文レビュー] Prosody Transfer in Neural Text to Speech Using Global Pitch and Loudness Features

Siddharth Gururani, Kilol Gupta+3 more|arXiv (Cornell University)|Nov 21, 2019

Speech Recognition and Synthesis参考文献 22被引用数 12

ひとこと要約

本論文では、参照音声クリップから抽出したグローバルなピッチおよびラウドネス特徴を用いて、Tacotron2（TC2）合成器を条件づける、シンプルでありながら効果的なプロソディー転送手法を提案する。この手法は、プロソディー転送に7つの要約統計量（logF0およびRMSエネルギー）のみを用い、自然な音声と参照音声に類似した強力なプロソディーを実現し、客観的指標においてベースラインTC2よりも顕著な改善を示している。

ABSTRACT

This paper presents a simple yet effective method to achieve prosody transfer from a reference speech signal to synthesized speech. The main idea is to incorporate well-known acoustic correlates of prosody such as pitch and loudness contours of the reference speech into a modern neural text-to-speech (TTS) synthesizer such as Tacotron2 (TC2). More specifically, a small set of acoustic features are extracted from reference audio and then used to condition a TC2 synthesizer. The trained model is evaluated using subjective listening tests and a novel objective evaluation of prosody transfer is proposed. Listening tests show that the synthesized speech is rated as highly natural and that prosody is successfully transferred from the reference speech signal to the synthesized signal.

研究の動機と目的

• 人間らしい表現力を備えた制御可能なプロソディーを有する表現的な音声合成を可能にすること。
• 標準的なTTSモデルが学習データから中立的なプロソディーしか学習しないという制限を解消すること。
• 参照音声信号から合成音声へのプロソディー転送を低リソースかつ使いやすい方法で開発すること。
• 神経的TTSにおけるプロソディー転送性能を評価するための新しい客観的指標を導入すること。
• 少数のグローバル音響特徴が、表現的な音声合成のための神経TTSモデルを効果的に条件づけることができることを実証すること。

提案手法

• 参照音声信号から、学習を伴わない要約統計量エンコーダーを用いて、グローバルなプロソディック特徴（logF0（ピッチ）およびRMS（ラウドネス）エネルギー）を単純に抽出する。
• テキストエンコーダーの隠れ状態に、これらの特徴を要素ごとの加算によってTacotron2（TC2）TTSモデルに条件づける。
• 参照音声のプロソディック特徴を7次元のグローバル要約ベクトル（7つの時間ステップにおけるlogF0およびRMS）にマッピングするための軽量な線形変換を用いる。
• 訓練時には真値の参照音声を用い、推論時には抽出された特徴を用いることで、標準的なTTS損失を用いてGS-TC2モデルをエンドツーエンドに訓練する。
• 生成されたlog-melスペクトログラムから高精細な波形を生成するためにWaveRNN音声生成器を適用する。
• 参照音声と合成音声のピッチおよびRMSのプロファイル間のコサイン距離および動的時間ワープィング（DTW）の2つの新しい客観的指標を提案する。

実験結果

リサーチクエスチョン

• RQ1 少数のグローバルプロソディック特徴（ピッチおよびラウドネス）が、参照音声から合成音声へのプロソディー転送に効果的に機能するか。
• RQ2 グローバル統計量を用いたプロソディー転送の性能は、客観的および主観的評価において標準的なTacotron2と比較してどの程度優れているか。
• RQ3 提案された客観的指標が、人間のプロソディー転送品質の認識とどの程度相関しているか。
• RQ4 異なる話者や非音声ソースからの参照が、プロソディック統計がターゲット話者のものと類似している限り、一般化可能か。
• RQ5 複雑な潜在変数モデルで見られるエンタングルメント問題を回避するために、コンactな学習を伴わない参照エンコーダーを用いることは有効か。

主な発見

• GS-TC2モデルは、ベースラインTC2と比較して、参照音声と合成音声のピッチプロファイル間のコサイン距離とDTW距離の両方で顕著な低減を達成し、ピッチのコサイン距離が45％削減された（0.052 vs. 0.029）。
• RMS特徴の転送性能は、GS-TC2とTC2の間で同等であり、両者ともDTW距離が0.019と類似しており、ラウドネスエンVELOPEの強力な転送が確認された。
• 主観的聴取テストの結果、GS-TC2を用いた合成音声は、自然さが高く、参照音声からのプロソディーが的確に転送されていると評価された。
• 7次元のプロソディック特徴のt-SNE可視化では、16例中14例でGS-TC2の合成サンプルが参照に近い位置に配置された。
• 本手法は、計算コストを最小限に抑えながら、7つのグローバル特徴のみを用いて効果的なプロソディー転送を実現し、複雑な学習済みエンコーダーを回避した。
• パイLOT実験の結果、話者が異なっていても、あるいは非音声ソースからの参照でも、プロソディック統計がターゲット話者と一致していれば、有効に機能することが示された。