[論文レビュー] Unsupervised Cross-lingual Representation Learning for Speech Recognition

Alexis Conneau, Alexei Baevski+3 more|arXiv (Cornell University)|Jun 24, 2020

Speech Recognition and Synthesis被引用数 13

ひとこと要約

本論文は、53言語の生音声データを用いて、量子化された潜在的音声ユニットの対照的学習目的に基づき事前学習された多言語音声表現モデルXLSRを紹介する。言語間で共有される離散的表現を同時に学習することで、CommonVoiceでは相対的発音誤り率を72%削減し、BABELでは語誤り率を16%削減するなど、最先端の性能を達成した。特に低リソース言語において顕著な向上が見られた。

ABSTRACT

This paper presents XLSR which learns cross-lingual speech representations by pretraining a single model from the raw waveform of speech in multiple languages. We build on wav2vec 2.0 which is trained by solving a contrastive task over masked latent speech representations and jointly learns a quantization of the latents shared across languages. The resulting model is fine-tuned on labeled data and experiments show that cross-lingual pretraining significantly outperforms monolingual pretraining. On the CommonVoice benchmark, XLSR shows a relative phoneme error rate reduction of 72% compared to the best known results. On BABEL, our approach improves word error rate by 16% relative compared to a comparable system. Our approach enables a single multilingual speech recognition model which is competitive to strong individual models. Analysis shows that the latent discrete speech representations are shared across languages with increased sharing for related languages. We hope to catalyze research in low-resource speech understanding by releasing XLSR-53, a large model pretrained in 53 languages.

研究の動機と目的

• 事前学習段階でラベル付きデータを一切使用せず、多言語にまたがる単一の音声認識モデルを構築すること。
• 生音声データを用いた自己教師付き多言語事前学習が、単言語事前学習に比べて性能を向上させるかどうか、特に低リソース言語において検証すること。
• 共有された離散的潜在表現が言語間でどのように分布しているか、および言語の類似性が転移性能に与える影響を分析すること。
• 複数の言語に同時に微調整された単一のXLSRモデルが、個別に微調整されたモデルと同等の性能を達成できることを示すこと。

提案手法

• マスクされた潜在表現に対するwav2vec 2.0の対照的学習目的を用いて、複数言語の生音声データを用いて単一モデルを事前学習する。
• 共通の量子化モジュール（G=2のコードブック、各320エントリ）を用いて、言語を問わず共有される離散的音声ユニットを生成する。
• 離散的コードブック選択をエンドツーエンド微分可能にするために、Gumbel-Softmax緩和を適用する。
• 分類器とは別に特徴量を入力するのではなく、完全なTransformerベースのモデルを下流のASRタスクで微調整する。
• 評価のため、CommonVoice（10言語、読み上げ音声）およびBABEL（14言語、会話形式の電話音声）ベンチマークで学習を行う。
• 正規化されたトークン頻度分布を用いて、Jensen-Shannon発散により言語の類似性を可視化し、その後K-MeansクラスタリングとPCAを実行する。

実験結果

リサーチクエスチョン

• RQ1 生のラベルなし音声データを用いて複数言語で事前学習することで、単言語事前学習に比べて音声認識性能が向上するか？
• RQ2 ラベル付きデータなしの状況下で、言語の類似性は多言語間転移性能にどのように影響するか？
• RQ3 離散的潜在音声表現がどの程度言語間で共有されているか、類縁言語はより多くのトークンを共有するか？
• RQ4 複数言語に同時に微調整された単一の多言語モデルが、個別に学習されたモデルと同等の性能を達成できるか？
• RQ5 学習された離散的表現が言語間の言語的関係をどの程度反映しているか？

主な発見

• XLSRは、最も優れた先行研究と比較して、CommonVoiceで相対的発音誤り率を72%削減し、多言語事前学習による顕著な向上を示した。
• BABELベンチマークでは、同等のシステムと比較して相対的に語誤り率を16%改善し、強力な多言語間転移性能を示した。
• イタリア語などの低リソース言語では、関連言語（例：スペイン語）のラベルなしデータ50時間で事前学習することで、最大で16.8%の誤り率低下が達成された。
• 言語的に類縁な言語同士（例：スペイン語、イタリア語、バスク語）では、より多くの離散的潜在ユニットが共有されており、言語的類縁性が表現共有を促進していることが示された。
• 中国・香港（zh-HK）のような言語は、他の言語と最小限のトークンを共有しており、共有表現空間内で孤立していることが示された。
• 複数言語に同時に微調整された単一のXLSRモデルは、個別に微調整されたモデルと同等の性能を示す多言語ASRシステムを構築できた。