[論文レビュー] Fused Acoustic and Text Encoding for Multimodal Bilingual Pretraining and Speech Translation
本稿では、多様なデータソース—単語語彙、音声認識、機械翻訳コーパスを含む—からの音声とテキストを統合的に符号化する統合的表現学習フレームワーク、Fused Acoustic and Text Masked Language Modeling (FAT-MLM) を提案する。FAT-MLMで微調整されたエンドツーエンドのFused Acoustic and Text Speech Translation (FAT-ST) モデルは、3つの言語対で最大+5.9のBLEUスコア向上を達成し、より高速な推論と小型のモデルサイズでカスケード型システムを上回る最先端の性能を発揮する。
Recently, representation learning for text and speech has successfully improved many language related tasks. However, all existing methods suffer from two limitations: (a) they only learn from one input modality, while a unified representation for both speech and text is needed by tasks such as end-to-end speech translation, and as a result,(b) they can not exploit various large-scale text and speech data and their performance is limited by the scarcity of parallel speech translation data.To address these problems, we propose a Fused Acoustic and Text Masked Language Model (FAT-MLM) which jointly learns a unified representation for both acoustic and text input from various types of corpora including parallel data for speech recognition and machine translation, and even pure speech and text data. Within this cross-modal representation learning framework, we further present an end-to-end model for Fused Acoustic and Text Speech Translation (FAT-ST). Experiments on three translation directions show that by fine-tuning from FAT-MLM, our proposed speech translation models substantially improve translation quality by up to +5.9 BLEU.
研究の動機と目的
- 既存の事前学習手法が1つのモダリティ（音声またはテキスト）に限定されているという限界に対処するため、両モダリティの統合的表現学習フレームワークを提案すること。
- 並列音声翻訳データの不足を補うために、豊富な単語語彙テキスト、音声認識、機械翻訳データを活用すること。
- 共有エンコーダ・デコーダアーキテクチャを通じて、エンドツーエンドの音声翻訳モデルが多様な事前学習データの恩恵を受けることを可能にすること。
- カスケード型システムと比較して低遅延かつ小型モデルサイズを維持しつつ、エンドツーエンド音声翻訳で最先端の性能を達成すること。
提案手法
- FAT-MLM は、並列音声翻訳、音声認識、機械翻訳データを含む多様なコーパスからの混合音声およびテキスト入力に対して、マスクド言語モデリングを用いて統合的エンコーダーを共同で事前学習する。
- モデルは、音声特徴とテキスト埋め込みの両方を処理する共有のTransformerベースのエンコーダーを用い、両モダリティのマスク予測目的を実装する。
- FAT-MLM エンコーダーの上に、音声認識と翻訳の共同学習を可能にする、シーケンス・ツー・シーケンス型のFused Acoustic and Text Speech Translation (FAT-ST) モデルを構築する。
- FAT-ST モデルは、マスクド音声モデリング、マスクドテキストモデリング、およびシーケンス・ツー・シーケンス翻訳損失という複数の目的関数で訓練される。
- 追加の単語語彙音声およびテキストデータでの事前学習により、一般化性能と性能が向上する。
- 共有パラメータを用いたエンドツーエンド学習をサポートするため、カスケード型システムと比較して推論が高速で、誤差伝搬も低減される。
実験結果
リサーチクエスチョン
- RQ1単語語彙、音声認識、機械翻訳データを含む多様なデータタイプからの音声とテキスト入力から、統合的表現モデルが効果的に学習できるか。
- RQ2並列音声翻訳データが限られる中で、異種の音声とテキストデータを共同で事前学習することで、エンドツーエンド音声翻訳の性能が向上するか。
- RQ3提案されたFAT-MLMフレームワークにより、1つのエンドツーエンドモデルが、競争力のある品質と速度で音声認識と翻訳の両方を実行できるか。
- RQ4非並列データ（例：単語語彙テキストおよび音声）への追加事前学習が、最終的な音声翻訳性能にどの程度向上効果をもたらすか。
- RQ5提案されたFAT-STモデルは、強力なカスケード型システムと同等の性能を達成するか。また、低遅延かつ小型モデルサイズを維持しているか。
主な発見
- FAT-MLM から微調整されたFAT-STは、Must-Cデータセットの3つの翻訳方向で、ベースラインモデルと比較して最大+5.9のBLEUスコア向上を達成した。
- 英語→ドイツ語、英語→フランス語、英語→中国語の音声翻訳において、最先端の性能を発揮し、強力なカスケード型ベースラインを上回った。
- 単語語彙音声およびテキストデータでの追加事前学習により、FAT-STはさらに+1.25のBLEU向上を達成し、データ効率性の利点を示した。
- FAT-STモデルは、別個のASRモジュールを待つ必要がないため、カスケード型システムと比較してほぼ2倍の高速なデコード速度を達成した。
- アブレーションスタディの結果、FAT-MLM事前学習、共有エンコーダー、マルチ目的学習の各要素が性能向上に顕著に寄与していることが確認された。
- 英語→中国語タスクでは、FAT-STは25.49の文字レベルBLEUを達成し、先行モデル（ST*：22.07）およびカスケード型システム（21.36）を上回った。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。