[論文レビュー] Text-Free Prosody-Aware Generative Spoken Language Modeling

Eugene Kharitonov, Ann Lee+9 more|arXiv (Cornell University)|Sep 7, 2021

Speech Recognition and Synthesis参考文献 42被引用数 16

ひとこと要約

本稿では、自己教師ありユニットと量子化されたプロソディック特徴（F0および持続時間）を用いて、音声的コンテンツとプロソディーを統合的にモデル化するテキストフリーな生成的 spoken language model、pGSLMを提案する。マルチストリーム変換器言語モデルとHiFi-GAN音声合成器を採用することで、pGSLMは、音声プロンプトから一貫性があり、表現力があり、プロソディー的に整合性のある音声を生成でき、コンテンツおよびプロソディーのモデリングにおいてテキストフリーなベースラインを上回る。特に、量子化されたプロソディー・ストリームは、生成の多様性と一貫性を向上させる。

ABSTRACT

Speech pre-training has primarily demonstrated efficacy on classification tasks, while its capability of generating novel speech, similar to how GPT-2 can generate coherent paragraphs, has barely been explored. Generative Spoken Language Modeling (GSLM) \cite{Lakhotia2021} is the only prior work addressing the generative aspects of speech pre-training, which replaces text with discovered phone-like units for language modeling and shows the ability to generate meaningful novel sentences. Unfortunately, despite eliminating the need of text, the units used in GSLM discard most of the prosodic information. Hence, GSLM fails to leverage prosody for better comprehension, and does not generate expressive speech. In this work, we present a prosody-aware generative spoken language model (pGSLM). It is composed of a multi-stream transformer language model (MS-TLM) of speech, represented as discovered unit and prosodic feature streams, and an adapted HiFi-GAN model converting MS-TLM outputs to waveforms. We devise a series of metrics for prosody modeling and generation, and re-use metrics from GSLM for content modeling. Experimental results show that the pGSLM can utilize prosody to improve both prosody and content modeling, and also generate natural, meaningful, and coherent speech given a spoken prompt. Audio samples can be found at https://speechbot.github.io/pgslm. Codes and models are available at https://github.com/pytorch/fairseq/tree/main/examples/textless_nlp/pgslm.

研究の動機と目的

• 従来のテキストフリーなアプローチで失われがちなプロソディック情報を保持するテキストフリーな生成的 spoken language modelの開発。
• 音声的コンテンツとプロソディーの共同モデリングが、音声生成の品質および一貫性を向上させるかどうかの調査。
• 離散的 vs. 連続的プロソディック表現が、生成の多様性および一貫性に与える影響の評価。
• テキスト監視が存在しない状況におけるプロソディーモデリングおよび生成のための新しい指標の設計と検証。
• 与えられたプロンプトと同等の意味的およびプロソディック的一致性を保った条件付き音声生成の実現。

提案手法

• モデルは、自己教師ありユニットと量子化されたプロソディック特徴（F0および持続時間）の別々のストリームを処理するマルチストリーム変換器言語モデル（MS-TLM）を用いる。
• プロソディック特徴はベクトル量子化により離散的トークンに変換され、連続的表現に比べて、マルチモーダルな分布のモデリングが向上する。
• MS-TLMは、過去のシーケンスを入力として、次のユニットおよびプロソディックトークンを自己回帰的に予測するように訓練され、離散的トークンには交差エントロピー損失、連続値にはL1損失が使用される。
• 微調整されたHiFi-GAN音声合成器が、生成されたユニットおよびプロソディーのシーケンスを高精細な波形に変換する。
• 評価には、コンテンツ指標（例：BLEU）と新たに考案されたプロソディー指標（持続時間およびF0のMAE、一貫性および表現力の相関ベース指標）を組み合わせて用いる。
• アブレーションスタディでは、プロソディー入力を有する・なし、および離散的 vs. 連続的プロソディー表現のモデルを比較し、各設計選択の影響を隔離する。

実験結果

リサーチクエスチョン

• RQ1 音声的コンテンツとプロソディーの共同モデリングは、テキストフリーな音声言語生成におけるコンテンツおよびプロソディーのモデリングを向上させ得るか？
• RQ2 プロソディーに離散的表現を用いることで、連続的表現に比べて生成の多様性および一貫性が向上するか？
• RQ3 入力にプロソディーを含めることで、自己回帰的生成中にプロソディック的一致性を維持する能力にどのような影響を与えるか？
• RQ4 プロソディーに配慮したモデリングは、入力プロンプトに対して、生成音声の一貫性および表現力の向上にどの程度寄与するか？
• RQ5 提案されたモデルは、テキスト監視なしに自然で意味的で一貫性のある音声を生成できるか？

主な発見

• 継続タスクにおいて、プロソディー入力付きモデルは、持続時間（0.536 vs. 0.542）およびF0（0.077 vs. 0.096）のMAEが有意に低く、プロソディーモデリングの向上を示している。
• 離散的プロソディーのモデル（行12）は、連続的モデルに比べてF0値の標準偏差が2倍に上昇しており、より高いプロソディックの多様性を示している。
• プロソディー入力付きの離散的プロソディーのモデルが、人間評価で最高のMOS（4.21）およびM-MOS（3.85）を記録し、他のバージョンを上回った。
• プロソディーの一貫性に関する相関指標は、プロソディー入力により顕著に向上：持続時間の相関は0.176から0.344に、F0は0.093から0.494に上昇した。
• BLEUスコア（単語レベル）も、プロソディー入力付きモデル（例：行12で12.8 vs. 行10で12.5）が高く、コンテンツモデリングの向上を示している。
• 離散的プロソディーとプロソディー入力の両方を備えたモデルが、人間評価および指標分析により、表現力、一貫性、および一貫性のバランスが最良であると確認された。