[論文レビュー] Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation

Nils Reimers, Iryna Gurevych|arXiv (Cornell University)|Apr 21, 2020

Topic Modeling被引用数 28

ひとこと要約

本論文では、教師モデル（例：英語のSBERT）を用いて、元の文と翻訳文のベクトル表現を一致させるように学生モデルを訓練することで、単言語文埋め込みを多言語用途に拡張する知識蒸留手法を提案する。事前学習済みの単言語教師モデルを用い、学生モデルが元の文と翻訳文の両方を同じ埋め込み空間にマップするように学習する。LASERと比較して低リソース言語で最大40ポイントの精度向上を達成し、計算コストは最小限で、ベクトル空間の性質の強力な転送を実現する。

ABSTRACT

We present an easy and efficient method to extend existing sentence embedding models to new languages. This allows to create multilingual versions from previously monolingual models. The training is based on the idea that a translated sentence should be mapped to the same location in the vector space as the original sentence. We use the original (monolingual) model to generate sentence embeddings for the source language and then train a new system on translated sentences to mimic the original model. Compared to other methods for training multilingual sentence embeddings, this approach has several advantages: It is easy to extend existing models with relatively few samples to new languages, it is easier to ensure desired properties for the vector space, and the hardware requirements for training is lower. We demonstrate the effectiveness of our approach for 50+ languages from various language families. Code to extend sentence embeddings models to more than 400 languages is publicly available.

研究の動機と目的

• SBERTのような強力な単言語モデルがある一方で、多言語文埋め込みモデルが不足しているという問題に対処すること。
• 再訓練から始めることなく、既存の単言語モデルを新しい言語に効率的かつ低リソースで拡張可能にする方法を提供すること。
• 元の言語における望ましいベクトル空間の性質（例：クラスタリング、類似性）を多言語設定でも保持すること。
• マルチタスクや対照的事前学習アプローチと比較して、訓練の複雑さとハードウェア要件を低減すること。
• 元言語最適化と多言語適応を分離することで、多言語文表現における言語バイアスを最小限に抑えること。

提案手法

• 学生モデルを、元の文と翻訳文の両方について、その出力と教師モデルの出力との平均二乗誤差を最小化するように訓練する。
• 教師モデルが元言語の参照埋め込みを生成する平行文ペア（元文、翻訳文）を訓練データとして使用する。
• XLM-RoBERTaの重みで学生モデルを初期化し、100の言語をサポートし、言語固有のトークナイゼーション問題を回避する共通のSentencePieceトークナイザーを用いる。
• 知識蒸留を適用し、次の損失関数を強制する：||M(s_i) - M̂(s_i)||² + ||M(s_i) - M̂(t_i)||²。これにより、元文と翻訳文が教師の出力に近づくように保証される。
• 標準的な最適化アルゴリズムと学習率スケジュールを用いて、一回の訓練で複数の言語に移行可能なエンドツーエンドの訓練を実施する。
• 訓練プロセスを分離する：まず高品質な単言語モデル（例：SBERT）を訓練し、その後、蒸留によって新しい言語に拡張する。これにより、深刻な忘却を回避する。

実験結果

リサーチクエスチョン

• RQ1 再訓練から始めることなく、単言語文埋め込みモデルを新しい複数の言語に効果的に拡張できるか？
• RQ2 単言語教師モデルからの知識蒸留が、目標言語における望ましいベクトル空間の性質（例：意味的類似性、クラスタリング）を保持するか？
• RQ3 特に低リソース言語において、LASER や mUSE などの既存の多言語モデルと比較して、本手法の性能はどの程度か？
• RQ4 マルチタスクや対照的目的で訓練されたモデルと比較して、本手法はどの程度言語バイアスを低減するか？
• RQ5 1つの統一された学生モデルアーキテクチャを用いて、400以上の言語を効率的にサポートできるか？

主な発見

• LASERと比較して、低リソース言語で最大40ポイントの精度向上を達成し、強力な転送性能を示した。
• 学生モデルは、複数の言語系列にまたがって、教師モデルのベクトル空間の性質（例：意味的クラスタリング、類似性）を効果的に継承した。
• mUSE や LaBSE などのマルチタスクや対照的事前学習手法と比較して、訓練の複雑さとハードウェア要件を低減した。
• 言語ペアの多様性にわたる一貫性ある性能から、言語バイアスが最小限であることが示された。これは、特定の言語ペアを好むモデルとは対照的である。
• さまざまな言語系列からなる50以上の言語で、効果的な一般化が達成された。公開されたコードにより、400以上の言語への拡張が可能である。
• XLM-RoBERTaベースの学生モデルは、単言語BERTの重みで初期化されたモデルよりも優れた性能を示した。これは、より優れた多言語トークナイゼーションと語彙カバレッジのおかげである。