[論文レビュー] Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond

Mikel Artetxe, Holger Schwenk|arXiv (Cornell University)|Dec 26, 2018

Topic Modeling参考文献 70被引用数 753

ひとこと要約

本論文は、93の言語（30の言語家系、28の script を含む）に対して、固定長の文埋め込みを学習するための、1つの共有 BiLSTM エンコーダーと共有 BPE 辞書を提案する。並列コーパス上で訓練され、補助デコーダーを用いることで、微調整なしに英語アノテーションデータのみを用いてゼロショットのクロスリンガル転送を可能にする。XNLI、MLDoc、BUCC、および新しい112言語の類似度検索ベンチマークにおいて、最先端の結果を達成しており、低リソース言語に対しても強力な性能を示す。

ABSTRACT

We introduce an architecture to learn joint multilingual sentence representations for 93 languages, belonging to more than 30 different families and written in 28 different scripts. Our system uses a single BiLSTM encoder with a shared BPE vocabulary for all languages, which is coupled with an auxiliary decoder and trained on publicly available parallel corpora. This enables us to learn a classifier on top of the resulting embeddings using English annotated data only, and transfer it to any of the 93 languages without any modification. Our experiments in cross-lingual natural language inference (XNLI dataset), cross-lingual document classification (MLDoc dataset) and parallel corpus mining (BUCC dataset) show the effectiveness of our approach. We also introduce a new test set of aligned sentences in 112 languages, and show that our sentence embeddings obtain strong results in multilingual similarity search even for low-resource languages. Our implementation, the pre-trained encoder and the multilingual test set are available at https://github.com/facebookresearch/LASER

研究の動機と目的

• 多数の言語にわたるゼロショットのクロスリンガル転送を可能にする、普遍的かつ言語に依存しない文埋め込みモデルの開発。
• 低リソース言語のパフォーマンス向上を図るため、単一言語モデルの制限を克服するため、多言語データを統合して学習すること。
• モデルの微調整なしに、93言語のいずれの言語に対しても英語アノテーションデータから効果的な転送学習を可能にする。
• 多様な NLP タスクおよび低リソース言語のシナリオにおけるモデルの一般化性能を評価する。
• クロスリンガル文表現の評価を目的とした、112言語の新しい多言語類似度検索ベンチマークの導入。

提案手法

• 93言語すべてに共通するバイディレクショナルLSTM（BiLSTM）エンコーダーと、共通するバイトペア符号化（BPE）語彙を用いる。
• シーケンス・ツー・シーケンスアーキテクチャを用い、補助デコーダーを備えた公開済みの並列コーパス上で、エンコーダーをエンドツーエンドで訓練する。
• 訓練後、デコーダーを破棄し、エンコーダーの最終隠れ状態を固定長の文埋め込みとして使用する。
• BiLSTMの隠れ状態に対して最大プーリングを適用し、固定サイズのベクトル表現を生成する。
• スキップスケット、NLI、およびビテキストマイニングの目的関数を統合したマルチタスク学習により、モデルの頑健性を向上させる。
• エンコーダーを入力言語に条件づけるために言語ID（Lid）トークンを用い、多言語への一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つの共有 BiLSTM エンコーダーと共有 BPE 語彙を用いて、93の多様な言語で効果的な文埋め込みを学習できるか？
• RQ2 多数の言語を同時に学習することで、特に低リソース言語において、ゼロショットのクロスリンガル転送性能がどの程度向上するか？
• RQ3 微調整なしに、クロスリンガル自然言語推論、ドキュメント分類、ビテキストマイニングなどの下流タスクで、モデルの性能はどの程度か？
• RQ4 訓練時に見られなかった言語にも、モデルは一般化できるか。特に、関連する言語で訓練された場合にその性能は？
• RQ5 ゼロショット転送および多言語類似度検索の観点から、既存の多言語的文埋め込み手法と比較して、本モデルはどのように差をつけるか？

主な発見

• XNLIベンチマークでは、クロスリンガル転送の精度が69.92%に達し、先行手法を上回る最先端の性能を示した。
• MLDocデータセットでは、微調整なしにクロスリンガルドキュメント分類の精度が72.79%に達した。
• BUCCデータセットにおけるビテキストマイニングでは、F1スコアが92.83%に達し、文の対応付けにおいて優れた性能を示した。
• 新たに導入された112言語のTatoeba類似度検索ベンチマークでは、112言語中55言語が20%未満の誤差率を達成しており、うち37言語が5%未満であった。
• アブレーションスタディの結果、18の評価言語のみで訓練するのではなく、全93言語で訓練することでより良いパフォーマンスが得られ、統合的多言語学習の利点が示された。
• 訓練データが全くないターゲット言語に対しても、モデルは一般化可能であり、低リソース言語においても効果的であることが示された。