[論文レビュー] SONAR: Sentence-Level Multimodal and Language-Agnostic Representations

Paul-Ambroise Duquenne, Holger Schwenk+1 more|arXiv (Cornell University)|Aug 22, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

Sonarは、翻訳、自己符号化、ノイズ除去の目的を統合したエンコーダ・デコーダフレームワークを用いて学習された多言語・多モodalな文埋め込み空間を提供し、多言語類似度検索およびゼロショット音声からテキストへの翻訳で最先端の性能を達成した。1つのテキストエンコーダと200言語の言語固有の音声エンコーダを用いて、クロスリンガルおよびクロスモーダル検索を可能にし、GitHubでオープンソース化されたモデルを提供している。

ABSTRACT

We introduce SONAR, a new multilingual and multimodal fixed-size sentence embedding space. Our single text encoder, covering 200 languages, substantially outperforms existing sentence embeddings such as LASER3 and LabSE on the xsim and xsim++ multilingual similarity search tasks. Speech segments can be embedded in the same SONAR embedding space using language-specific speech encoders trained in a teacher-student setting on speech transcription data. Our encoders outperform existing speech encoders on similarity search tasks. We also provide a text decoder for 200 languages, which allows us to perform text-to-text and speech-to-text machine translation, including for zero-shot language and modality combinations. Our text-to-text results are competitive compared to the state-of-the-art NLLB~1B model, despite the fixed-size bottleneck representation. Our zero-shot speech-to-text translation results compare favorably with strong supervised baselines such as Whisper.

研究の動機と目的

• 200言語でテキストおよび音声モダリティをサポートする統一的かつ言語に依存しない文埋め込み空間の開発。
• 翻訳、自己符号化、ノイズ除去の目的を統合したフレームワークを用いて、多言語文表現学習の向上。
• 教師・生徒トレーニング設定を用い、多言語テキストエンコーダーを教師として、ゼロショット音声からテキストへの翻訳を可能にする。
• 多言語および多モーダル設定における意味的類似度と復号性能に、さまざまなトレーニング目的（翻訳、自己符号化、ノイズ除去、クロスリンガル類似度）の影響を評価する。
• 広範な研究および応用用途を想定し、オープンソースのテキストおよび音声エンコーダー、および多言語テキストデコーダーの提供。

提案手法

• Sonarフレームワークは、NLLB 1Bモデルから初期化された多言語エンコーダ・デコーダアーキテクチャを用い、固定サイズの文埋め込みを学習する。
• 翻訳、自己符号化、ノイズ除去の目的を同時に最適化し、言語に依存しない表現を強化するためのクロスリンガル類似度損失を導入する。
• 37言語の音声エンコーダーは、多言語テキストエンコーダーを教師とし、ASR出力文を監視信号として用いた教師・生徒蒸留プロセスで学習される。
• モダリティ間で共有された埋め込み空間を活用し、クロスモーダル類似度検索およびゼロショット翻訳を可能にする。
• テキストデコーダーは、言語ペアを問わずゼロショットテキストからテキストおよび音声からテキストへの翻訳をサポートするように、エンドツーエンドで学習される。
• テキストおよび音声エンコーダー、およびテキストデコーダーを含むすべてのモデルが、GitHubで公開され、一般利用可能である。

実験結果

リサーチクエスチョン

• RQ1 翻訳、自己符号化、ノイズ除去、およびクロスリンガル類似度といった、さまざまなトレーニング目的が、固定サイズのブottleneckにおける多言語文埋め込みの質にどのように影響を与えるか？
• RQ2 翻訳、自己符号化、ノイズ除去の目的を統合したフレームワークで学習された単一の多言語テキストエンコーダーは、Laser3 や LabSE といった既存の最先端モデルを、多言語類似度検索タスクで上回ることができるか？
• RQ3 多言語テキストエンコーダーから蒸留された教師・生徒プロセスで学習された音声エンコーダーは、どの程度の性能を示し、クロスリンガルおよびクロスモーダル類似度検索で高い性能を発揮できるか？
• RQ4 Whisper などの教師ありベースラインと比較して、Sonarフレームワークはゼロショット音声からテキストへの翻訳において、どの程度の効果を示すか？
• RQ5 複数の目的を統合することで、多様な言語およびモダリティにわたる文埋め込み表現の一般化および耐性がどの程度向上するか？

主な発見

• Sonarのテキストエンコーダーは、xsimおよびxsim++の多言語類似度検索ベンチマークで、Laser3 や LabSE よりも優れた性能を示し、優れた言語に依存しない文埋め込み表現を実証した。
• 固定サイズのブottleneckを用いながらも、競争力あるゼロショットテキストからテキストへの翻訳性能を達成し、最先端のNLLB 1Bモデルと同等の性能を示した。
• ゼロショット音声からテキストへの翻訳において、SonarはWhisper v2 largeよりもFleursテストセットで平均BLEUスコアが高く、特にベンガリー語、ヒンディー語、タミル語といったインド諸言語で顕著な性能を発揮した。
• 翻訳とMSE損失の組み合わせが、クロスリンガルアライメントを顕著に向上させたが、過剰なノイズ除去は言語に依存しない表現の質を低下させた。
• 多言語テキストエンコーダーから蒸留された教師・生徒プロセスで学習された音声エンコーダーは、クロスモーダル類似度検索で優れた性能を示し、同じ空間に統合されたテキストおよび音声埋め込みの整合性を裏付けた。
• Sonarフレームワークは、言語およびモダリティの組み合わせを問わず、効果的なゼロショットデコードを可能にし、研究およびデプロイメント用にオープンソース化されたモデルを提供している。