[論文レビュー] SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data

Ziqiang Zhang, Sanyuan Chen+9 more|arXiv (Cornell University)|Sep 30, 2022

Speech Recognition and Synthesis被引用数 13

ひとこと要約

本稿では、音声単位または隠れユニットトークナイザーを介して共有離散表現空間を用いて音声とテキストの事前学習を統合する、SpeechLMというクロスモーダル音声・言語モデルを提案する。無対応のテキストデータをマスクされたユニット予測およびランダムスワッピング機構を用いたシーケンス再構成タスクを通じて活用することで、音声のみのベースラインに比べて自動音声認識（ASR）および音声翻訳（ST）の性能が顕著に向上する。

ABSTRACT

How to boost speech pre-training with textual data is an unsolved problem due to the fact that speech and text are very different modalities with distinct characteristics. In this paper, we propose a cross-modal Speech and Language Model (SpeechLM) to explicitly align speech and text pre-training with a pre-defined unified discrete representation. Specifically, we introduce two alternative discrete tokenizers to bridge the speech and text modalities, including phoneme-unit and hidden-unit tokenizers, which can be trained using a small amount of paired speech-text data. Based on the trained tokenizers, we convert the unlabeled speech and text data into tokens of phoneme units or hidden units. The pre-training objective is designed to unify the speech and the text into the same discrete semantic space with a unified Transformer network. We evaluate SpeechLM on various spoken language processing tasks including speech recognition, speech translation, and universal representation evaluation framework SUPERB, demonstrating significant improvements on content-related tasks. Code and models are available at https://aka.ms/SpeechLM.

研究の動機と目的

• モダリティの違いにより活用が不十分である未対応のテキストデータを用いて音声事前学習を改善する課題に対処すること。
• 音声とテキストモダリティの間の統一インターフェースを設計し、効果的なクロスモーダルアライメントと表現学習を可能にすること。
• 音声とテキストを共有の意味的空間に統合する解釈可能で学習可能な離散トークナイザー（音声単位および隠れユニット）を開発すること。
• 最小限の対応データを用いたテキスト拡張事前学習が、下流の spoken language タスクにおける音声モデル性能を顕著に向上させることを実証すること。

提案手法

• 音声とテキストを、少量の対応音声・テキストデータまたは既存の音素語彙を用いて、共有意味的空間に変換する2種類の離散トークナイザー（音声単位および隠れユニット）を提案する。
• 音声入力からのマスクされたユニットトークンを予測するユニットベースのマスクド言語モデル（UMLM）を導入し、未対応データにおける自己教師付き学習を可能にする。
• マスクされたユニットシーケンスから完全なテキストシーケンスを再構成するユニットベースのコネクティスト・テンポラル分類（UCTC）を採用し、シーケンスレベルのアライメントを強化する。
• 音声とテキストモダリティの間で中間表現をランダムにスワップする機構を導入し、共有トランスフォーマー・エンコーダーに入力する前に適用することで、クロスモーダルアライメントを向上させる。
• 共有離散空間内で両モダリティを統合的に符号化するための統一トランスフォーマーネットワークを用い、アーキテクチャを単純化し、一般化性能を向上させる。
• UMLMおよびUCTCの目的関数を組み合わせてエンドツーエンドでモデルを学習し、音声およびテキスト表現の共同最適化を可能にする。

Figure 1: SpeechLM pre-training framework, which consists of a Speech Transformer and a Shared Transformer, and equips with discrete tokenizers and the random swapping mechanism.

実験結果

リサーチクエスチョン

• RQ1 対応音声・テキストデータを大量に必要とせずに、未対応のテキストデータを有効に活用して音声表現学習を向上させることは可能か？
• RQ2 音声単位トークナイザーと隠れユニットトークナイザーは、事前学習のための共有意味的空間に音声とテキストを統合する能力において、どのように比較されるか？
• RQ3 ランダムスワッピング機構は、クロスモーダルアライメントおよび音声・言語モデリングの下流性能にどのような影響を及ぼすか？
• RQ4 テキスト拡張音声事前学習で最適なパフォーマンスを達成するために、どの程度のテキストデータ量が必要か？
• RQ5 共有離散表現空間の使用は、ASRや音声翻訳などの多様な spoken language タスクにおける一般化性能を向上させるか？

主な発見

• SpeechLMは、言語モデルを用いないLibriSpeech test-otherで9.1 WERを達成するが、ランダムスワッピング機構を適用すると8.1 WERに著しく低下し、これがクロスモーダルアライメントにおける中心的役割を確認する。
• ASRタスクにおいて、SpeechLM-P（音声単位トークナイザー）とSpeechLM-H（隠れユニットトークナイザー）の性能は同等であり、両トークナイザーが音声とテキスト表現の統合に有効であることを示している。
• 40,000文の未対応テキストデータを用いることで、ほぼ最適なパフォーマンスが達成され、比較的小さなテキストコーパスでも語彙レベルのモデリングが十分であることが示唆される。
• 対応データなしで学習されたテキスト専用トークナイザーを用いるとかえって性能が低下し、正確なモダリティアライメントには対応データが不可欠であることが示された。
• レイヤーごとの可視化により、共有トランスフォーマーの深層を通過するに従い、音声とテキスト表現が段階的に共有意味的空間にアライメントされていることが確認された。
• SpeechLMは、自動音声認識、音声翻訳、およびSUPERBベンチマークにおいて、音声のみのベースラインを顕著に上回り、強力な一般化および転移能力を示した。

Figure 2: Two alternative tokenizers for speech and text, (a) Phone-unit tokenizer; (b) Hidden-unit tokenizer.