[論文レビュー] Textually Pretrained Speech Language Models

Michael Hassid, Tal Remez+10 more|arXiv (Cornell University)|May 22, 2023

Topic Modeling被引用数 7

ひとこと要約

TWIST は事前学習済みテキストLMから SpeechLMを初期化し、自動・人間の評価の両方で一貫して性能を向上させ、これまでで最大規模の SpeechLM へとスケールします。

ABSTRACT

Speech language models (SpeechLMs) process and generate acoustic data only, without textual supervision. In this work, we propose TWIST, a method for training SpeechLMs using a warm-start from a pretrained textual language models. We show using both automatic and human evaluations that TWIST outperforms a cold-start SpeechLM across the board. We empirically analyze the effect of different model design choices such as the speech tokenizer, the pretrained textual model, and the dataset size. We find that model and dataset scale both play an important role in constructing better-performing SpeechLMs. Based on our observations, we present the largest (to the best of our knowledge) SpeechLM both in terms of number of parameters and training data. We additionally introduce two spoken versions of the StoryCloze textual benchmark to further improve model evaluation and advance future research in the field. We make speech samples, code and models publicly available: https://pages.cs.huji.ac.il/adiyoss-lab/twist/ .

研究の動機と目的

• 従来のコールドスタート手法を超える SpeechLM の改善を、テキスト事前学習がどのように寄与できるか動機づけ・探索する。
• 音声トークナイザ、事前学習済みテキストモデル、学習データ規模といった設計選択を体系的に分析する。
• スケーリングが SpeechLM の性能に与える影響を示し、報告された中で最大の SpeechLM を導入する。
• 新しい話し言葉のベンチマーク（Spoken StoryCloze）を提供し、話し言葉における文脈・一貫性の側面を評価する。

提案手法

• TWIST を導入する。これはテキスト語彙を音声トークン語彙に置換し、事前学習済みテキストLMから SpeechLM を初期化する方法。
• HuBERT ベースの音声トークナイゼーションと k-means 量子化を用いて SpeechLM の離散的な音声トークンを生成する。
• トークンから音声を再合成する vocoder（HiFi-GAN）を訓練し、トークンからのエンドツーエンド評価を可能にする。
• sWUGGY と sBLIMP によるゼロショットの語彙・統語モデリングを評価し、MMOS を用いて人間の判断を評価する。
• モデル規模（1.3B, 7B, 13B）およびデータ規模（1%, 10%, 100%）の下で TWIST と Cold-Init を比較する。
• Spoken StoryCloze ベンチマーク（sStoryCloze および tStoryCloze）を導入し、話し言葉の細かな一貫性と粗い一貫性を評価する。

Figure 1 : Generative Spoken Language Modeling: the pipeline is composed of three main components (i) Speech tokenizer; (ii) SpeechLM; and (iii) Token-to-speech. This paper introduces TWIST ,which initializes the weights of the SpeechLM from a pretrained text LM.

実験結果

リサーチクエスチョン

• RQ1 TWIST を介してテキスト言語モデルが SpeechLM に有益な初期化を提供できるか。
• RQ2 音声トークナイザの選択、テキストLMの選択、学習データの規模が SpeechLM の性能にどう影響するか。
• RQ3 SpeechLMを7B/13Bへスケールさせた場合、自動評価・人間評価・話し言葉のベンチマーク評価にどのような影響があるか。
• RQ4 sStoryCloze および tStoryCloze のような話し言葉のベンチマークは、テキストベンチマークと比較して SpeechLM の強みとギャップを明らかにするか。

主な発見

• TWIST は PPL、sWUGGY、sBLIMP の指標すべてで Cold-Init より一貫して改善を示す。
• より大きなダウンサンプリング（例：25Hz で 500 トークン）を用いると sWUGGY と sBLIMP の結果が改善される。
• モデルサイズとデータをスケールさせるほど性能が向上する；TWIST を用いた場合、データの10%で Cold-Init の100%データと同等かそれ以上を達成できる。
• TWIST は収束が速く、目標 perplexity に約四分の一の更新回数で到達する。
• TWIST-7B/13B は TWIST-1.3B よりもさらに向上を示し、TWIST-13B は sWUGGY（全体・語彙内）および sBLIMP において従来法より優れている。
• Spoken StoryCloze の結果は、継続的なコヒーレンスの方が細かい時間的常識よりも高く評価されており、tStoryCloze では人間の性能に約15%のギャップ、sStoryCloze ではそれ以上のギャップを示す。

(a)