[論文レビュー] Towards Fine-Grained Prosody Control for Voice Conversion

Zheng Lian, Zhengqi Wen|arXiv (Cornell University)|Oct 24, 2019

Speech Recognition and Synthesis参考文献 27被引用数 4

ひとこと要約

本論文は、教師なしのプロソディー埋め込みを用いて細分化されたプロソディー制御を可能にする非並列音声変換フレームワークを提案する。ピッチベースのプロソディー制御を学習された埋め込みに置き換えることで、特に歌い言葉の状況においても音声品質と話者類似度が向上する。リアルタイムLPCNet音声生成器を用いることで高精細な波形合成を実現する。

ABSTRACT

In a typical voice conversion system, prior works utilize various acoustic features (e.g., the pitch, voiced/unvoiced flag, aperiodicity) of the source speech to control the prosody of generated waveform. However, the prosody is related with many factors, such as the intonation, stress and rhythm. It is a challenging task to perfectly describe the prosody through acoustic features. To deal with this problem, we propose prosody embeddings to model prosody. These embeddings are learned from the source speech in an unsupervised manner. We conduct experiments on our Mandarin corpus recoded by professional speakers. Experimental results demonstrate that the proposed method enables fine-grained control of the prosody. In challenging situations (such as the source speech is a singing song), our proposed method can also achieve promising results.

研究の動機と目的

• 音声変換におけるピッチベースのプロソディー制御の限界を是正すること。特に、イントネーション、強調、リズムといった複雑なプロソディック要因を捉えられない点を改善する。
• 手動で設計された音響特徴量の代わりに教師なしプロソディー埋め込みを用いることで、非並列音声変換における音声品質と話者類似度を向上させること。
• LPCNetニューラルボコーダーを用いてリアルタイムかつ高精細な音声合成を実現すること。従来のパラメトリックボコーダーよりも優れたスペクトル制御と効率性を提供する。
• 標準的なTTS風の音声と歌い言葉の両条件で提案手法を評価し、多様なプロソディックパターンにわたる頑健性を示すこと。

提案手法

• 音声変換フレームワークは、教師なしのニューラルネットワークを用いて、明示的なアノテーションなしに、ソース音声からプロソディー埋め込みを学習する。これにより、複雑なプロソディック特性が捉えられる。
• 言語的入力として発音後退確率グラム（PPG）を用い、CBHGベースの変換モデルによりPPGをターゲット話者の音響特徴にマッピングする。
• プロソディー埋め込みはPPGに連結され、音響特徴生成プロセスをガイドする条件入力として使用される。
• 波形合成には、線形予測とRNNに基づいて励起信号を予測するリアルタイムなニューラルボコーダーLPCNetを用いる。これによりスペクトル忠実度が向上する。
• エンドツーエンドで学習する。最適化にはAdamを使用し、バッチサイズ32、勾配クリッピングを適用。収束までに100,000ステップを要する。
• ピッチとVUV（音声有無）をプロソディー制御に用いるベースラインシステムと、PPGベースのベースライン（C1）を比較対象とし、WORLDボコーダーを用いる。

実験結果

リサーチクエスチョン

• RQ1 教師なしプロソディー埋め込みは、ピッチを超えたイントネーション、強調、リズムといった複雑なプロソディック要因を効果的にモデル化できるか？
• RQ2 ピッチベースのプロソディー制御を学習された埋め込みに置き換えることで、非並列音声変換における音声品質と話者類似度が向上するか？
• RQ3 提案されたフレームワークは、LPCNetを用いて高品質かつリアルタイムな音声合成を達成できるか。特に困難な歌い言葉の状況でも有効か？
• RQ4 既存のPPGベースの非並列VCシステムと比較して、主観的品質と話者類似度の面で提案手法は優れているか？

主な発見

• ピッチベースのベースラインより、特に歌い言葉から通常の言葉への変換（SONG-to-TSペア）において、提案手法が顕著に優れたプロソディー制御を示した。
• 主観的MOS評価では、CMU-ARCTICおよび中国語データセットの両方で、提案手法がベースラインおよびC1システムよりも高い音声自然さを達成した。
• Same/Differentパラダイムの結果から、特に非言語的プロソディック条件下で、提案手法がベースラインよりも高い話者類似度を達成した。
• LPCNetは、音声品質と話者類似度の両面でWORLDボコーダーを上回り、リアルタイムかつ高精細な合成に有効であることを確認した。
• ピッチ検出の誤差やプロソディックモデリングの不十分さにより、ピッチベース制御が失敗する歌い言葉の状況でも、本手法は有望な結果を示した。
• 小さなボトルネックサイズを持つ1次元プロソディー埋め込みの使用により、並列データや明示的アノテーションを必要とせずに、効果的で細分化されたプロソディー伝達が可能となった。