[論文レビュー] Mu$^{2}$SLAM: Multitask, Multilingual Speech and Language Models

Yong Cheng, Yu Zhang+3 more|arXiv (Cornell University)|Dec 19, 2022

Speech Recognition and Synthesis被引用数 5

ひとこと要約

Mu²SLAM は、100種類以上の言語で、ラベルなし音声、ラベルなしテキスト、および教師あり ASR、AST、MT データを統合的に事前学習する、統合的で多言語・多タスクなシーケンス・ツー・シーケンス モデルを導入する。共有エンコーダ・デコーダアーキテクチャを採用し、マスクされたノイズ除去およびマスクされた言語モデル化の目的関数を用いることで、CoVoST で SOTA を達成し、xx-en で 1.9 BLEU の向上、en-xx で 1.1 BLEU の向上を達成した。また、XNLI や TydiQA といったテキストベンチマークでは、mT5 に近い性能を実現し、性能ギャップを埋めた。

ABSTRACT

We present Mu$^{2}$SLAM, a multilingual sequence-to-sequence model pre-trained jointly on unlabeled speech, unlabeled text and supervised data spanning Automatic Speech Recognition (ASR), Automatic Speech Translation (AST) and Machine Translation (MT), in over 100 languages. By leveraging a quantized representation of speech as a target, Mu$^{2}$SLAM trains the speech-text models with a sequence-to-sequence masked denoising objective similar to T5 on the decoder and a masked language modeling (MLM) objective on the encoder, for both unlabeled speech and text, while utilizing the supervised tasks to improve cross-lingual and cross-modal representation alignment within the model. On CoVoST AST, Mu$^{2}$SLAM establishes a new state-of-the-art for models trained on public datasets, improving on xx-en translation over the previous best by 1.9 BLEU points and on en-xx translation by 1.1 BLEU points. On Voxpopuli ASR, our model matches the performance of an mSLAM model fine-tuned with an RNN-T decoder, despite using a relatively weaker sequence-to-sequence architecture. On text understanding tasks, our model improves by more than 6\% over mSLAM on XNLI, getting closer to the performance of mT5 models of comparable capacity on XNLI and TydiQA, paving the way towards a single model for all speech and text understanding tasks.

研究の動機と目的

• 音声とテキストの異なるモダリティおよびタスクから、モダリティ固有のコンponent を含めずに、統合的で多言語の音声・テキストモデルを開発すること。
• 従来のモデルが音声とテキストを別々に処理するか、モダリティ固有のヘッドを用いることで、表現共有が損なわれるという限界を是正すること。
• ラベルなしおよびラベルありデータを用いたマルチタスク事前学習により、多言語的およびマルチモーダルな表現の整合性を向上させること。
• 段階的かつノイズありの微調整戦略を導入することで、事前学習と微調整の分布シフトを低減し、下流タスクの性能を向上させること。
• XTREME などの多言語 NLU ベンチマークにおいて、音声・テキストモデルと純粋なテキストモデルの性能ギャップを縮小すること。

提案手法

• 100種類以上の言語で、ラベルなし音声、ラベルなしテキスト、および教師あり ASR、AST、MT データを用いて、1つのエンコーダ・デコーダ モデルを事前学習する。
• エンコーダに対して、音声およびテキスト入力の両方でマスクされた言語モデル化（MLM）の目的関数を適用し、デコーダに対して T5 風のノイズ除去目的関数を適用する。
• ラベルなしおよびラベルありデータの両方で共通の損失関数を用いることで、アーキテクチャの複雑さを低減し、表現共有を促進する。
• 音声表現抽出に、モダリティ固有のエンコーダを避けるために、1つの CNN ブロックを用いることで、モダリティに依存しない学習を強制する。
• 事前学習済みのラベルありデータで継続的に事前学習した後、タスク固有の微調整を行う段階的微調整を導入し、分布シフトを低減する。
• 微調整中にデコーダ入力を摂動させることでノイズあり微調整を実施し、スティーブ翻訳タスクにおけるロバスト性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 100種類以上の言語で、音声とテキストデータを統合的に事前学習する統合的シーケンス・ツー・シーケンス モデルは、音声およびテキストタスクの両方で優れた性能を達成できるか？
• RQ2 MLM、ノイズ除去、アライメントのマルチタスク目的関数を用いた共同事前学習は、多言語的およびマルチモーダル表現学習をどの程度向上させるか？
• RQ3 段階的およびノイズあり微調整戦略は、事前学習と微調整の乖離をどの程度低減し、下流タスクの性能向上に寄与するか？
• RQ4 ASR や AST ベンチマークにおいて、統合モデルは専用モデル（例：RNN-T を搭載した mSLAM）と比較してどの程度の性能を示すか？
• RQ5 多言語 NLU ベンチマーク（例：XTREME）において、統合モデルは mT5 のような強力なテキスト専用モデルとの性能ギャップを縮小できるか？

主な発見

• Mu²SLAM は、多言語スティーブ翻訳タスクである CoVoST で、SOTA を達成し、公開済みの先行モデルと比較して、xx-en 翻訳で 1.9 BLEU 点、en-xx 翻訳で 1.1 BLEU 点の向上を達成した。
• Voxpopuli ASR ベンチマークでは、RNN-T デコーダで微調整された mSLAM モデルと同等の性能を示したが、使用しているのはより弱い Transformer デコーダであるにもかかわらず、その点で顕著である。
• XNLI ベンチマークでは、mSLAM よりも 6% 以上の向上を達成し、同サイズの mT5 モデルに近い性能にまで到達した。
• TydiQA では、同程度の容量を持つ mT5 モデルと同等の性能を達成し、強力な多言語テキスト理解能力を示した。
• アブレーションスタディの結果、事前学習段階で ASR および AST データを含めることで、特に低リソース言語ペアにおいて AST の性能が顕著に向上した。
• ノイズあり微調整は、翻訳方向全体で性能向上をもたらしたが、最適なノイズ比は言語ペアによって異なり、方向別にロバストネスの恩恵が得られることを示した。