[論文レビュー] A Simple and Effective Method to Improve Zero-Shot Cross-Lingual Transfer Learning

Kunbo Ding, Weijie Liu+7 more|arXiv (Cornell University)|Oct 18, 2022

Topic Modeling被引用数 7

ひとこと要約

本論文は、並列コーパスや二国語辞書に依存せずに、ゼロショットクロスリンガル転移学習を向上させるシンプルで効果的な手法——Embedding-Push、Attention-Pull、Robust targets——を提案する。英語の埋め込みを他の言語クラスタに押し込み、相対的な語の位置関係を引き寄せ、仮想の多言語埋め込みを用いることで、優れた多言語間整合性と、英語リソースのみを用いたゼロショットクロスリンガルテキスト分類で最先端の性能を達成する。

ABSTRACT

Existing zero-shot cross-lingual transfer methods rely on parallel corpora or bilingual dictionaries, which are expensive and impractical for low-resource languages. To disengage from these dependencies, researchers have explored training multilingual models on English-only resources and transferring them to low-resource languages. However, its effect is limited by the gap between embedding clusters of different languages. To address this issue, we propose Embedding-Push, Attention-Pull, and Robust targets to transfer English embeddings to virtual multilingual embeddings without semantic loss, thereby improving cross-lingual transferability. Experimental results on mBERT and XLM-R demonstrate that our method significantly outperforms previous works on the zero-shot cross-lingual text classification task and can obtain a better multilingual alignment.

研究の動機と目的

• 高価な並列コーパスや二国語辞書に依存するため、低リソース言語におけるゼロショットクロスリンガル転移の限界を解消すること。
• 多言語モデルにおける高リソース言語と低リソース言語の埋め込みクラスタのギャップを低減することで、クロスリンガル転移性を向上させること。
• ターゲット言語を明示せず、複数言語間の堅牢性と整合性を向上させる手法を開発すること。
• 言語固有のチューニングを必要とせず、英語のみの学習データで有効なゼロショット転移を可能にすることにより、低リソース言語やマイノリティ言語に対しても実用的であること。

提案手法

• Embedding-Push (EPT) は、英語の単語埋め込みを他の言語のクラスタに押し込むことで、言語間の埋め込みギャップを低減する。
• Attention-Pull (APT) は、語の埋め込み間の相対的位置関係を保持することで、転移中に意味的整合性を維持する。
• Robust targets は、仮想多言語埋め込み (VME) を導入し、複数の言語で意味的に類似する語をカバーする埋め込み空間内の堅牢な領域を定義する。
• この手法は、英語データに対する同義語拡張を用いて拡張例を生成し、その後、3つの目的関数でモデルを学習する。
• モデルは、元の入力ストリームと拡張入力ストリームの間で重みを共有することで、表現学習の一貫性を確保する。
• このアプローチは mBERT および XLM-R に適用可能であり、並列データや二国語辞書を一切必要とせず、英語リソースにのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 並列コーパスや二国語辞書に依存せずに、ゼロショットクロスリンガル転移を向上させることは可能か？
• RQ2 多言語モデルにおける言語間の埋め込みクラスタギャップを低減することで、転移性を向上させることは可能か？
• RQ3 同義語拡張と堅牢な領域学習は、低リソース環境における多言語間整合性をどの程度向上させ得るか？
• RQ4 他の言語クラスタに埋め込みを押し込み、アテンションパターンを引き寄せる処理は、クロスリンガル性能を向上させるか？
• RQ5 単一ソース（英語）の手法が、言語固有のチューニングなしに多様な言語に効果的に一般化できるか？

主な発見

• 提案手法は、XNLI のゼロショットクロスリンガルテキスト分類ベンチマークで最先端の性能を達成し、mBERT および XLM-R の両方で従来手法を上回った。
• 英語データのみを用いて、mBERT における平均 XNLI 正答率を 68.4 まで向上させ、ベースラインおよび従来手法と比べ顕著な向上を示した。
• T-SNE 視覚化により、EPT が同義語を元の位置から選択的に押し離す一方で、意味構造を維持していることが確認された。
• Attention-Pull は、英語に類似した言語にバイアスをかける Sentence Representation Pull (SRPT) よりも優れた性能を示した。
• 同義語辞書のサイズにかかわらず、手法の堅牢性が確認されたが、辞書サイズを元の 25% にまで縮小すると性能が低下した。
• ドイツ語やロシア語を追加のソース言語として用いることで、さらに性能向上が得られ、多様な高リソース言語の入力が本手法に好影響を与えることが示された。