[論文レビュー] Model Selection for Cross-Lingual Transfer using a Learned Scoring Function

Yang Chen, Alan Ritter|arXiv (Cornell University)|May 4, 2021

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文では、ターゲット言語の検証データに依存せずに、ファインチューニングされた多言語モデルの内部表現を用いて、より優れたクロスリンガル転移モデルを選択する学習されたスコア関数を提案する。ピボット言語における少量のアノテート済みデータを活用することで、5つの言語および5つのNLPタスクにおいて、英語の検証データに基づく選択を上回り、小規模なターゲット言語開発セットを用いた場合と同等の性能を達成する。

ABSTRACT

Transformers that are pre-trained on multilingual text corpora, such as, mBERT and XLM-RoBERTa, have achieved impressive cross-lingual transfer learning results. In the zero-shot cross-lingual transfer setting, only English training data is assumed, and the fine-tuned model is evaluated on another target language. No target-language validation data is assumed in this setting, however substantial variance has been observed in target language performance between different fine-tuning runs. Prior work has relied on English validation/development data to select among models that are fine-tuned with different learning rates, number of steps and other hyperparameters, often resulting in suboptimal choices. In this paper, we show that it is possible to select consistently better models when small amounts of annotated data are available in an auxiliary pivot language. We propose a machine learning approach to model selection that uses the fine-tuned model's own internal representations to predict its cross-lingual capabilities. In extensive experiments we find that our approach consistently selects better models than English validation data across five languages and five well-studied NLP tasks, achieving results that are comparable to small amounts of target language development data.

研究の動機と目的

• ターゲット言語データが利用可能でない場合、さまざまなファインチューニングランの間で生じるゼロショットクロスリンガル転移性能の高いばらつきに対処すること。
• ハイパーパramータ選定に英語の検証データに依存することを減らし、しばしば劣悪なモデル選択を引き起こす問題を軽減すること。
• 補助的なピボット言語における少量のアノテート済みデータを活用することで、ゼロショットクロスリンガル転移におけるモデル選択の整合性と性能を向上させること。
• 内部表現を用いてモデルのクロスリンガル能力を予測する機械学習ベースの手法を開発すること。

提案手法

• ファインチューニング済みモデルの内部表現を、予測されたクロスリンガル性能スコアにマップするスコア関数を訓練する。
• ピボット言語における少量のアノテート済み例を用いて、スコア関数を訓練する。入力として、モデルの最終層からの表現を用いる。
• インフェレンス時にピボット言語データを処理する中で、ファインチューニング済み多言語エンコーダー（例：mBERT や XLM-RoBERTa）から表現を抽出する。
• ターゲット言語における下流タスクでのモデルのパフォーマンスを予測するために、回帰目的関数を用いてスコア関数を最適化する。
• ターゲット言語の検証データを必要とせず、予測スコアに基づいて最もパフォーマンスの高いモデルを選択する。
• 複数の言語およびNLPタスクにおいて、英語の検証データと小規模なターゲット言語開発セットとを比較して、選択性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 内部モデル表現に基づく学習されたスコア関数は、ゼロショットクロスリンガル転移におけるモデル選択を改善できるか？
• RQ2 少量のピボット言語データを用いることで、英語の検証データに依存するよりも優れたモデル選択が達成できるか？
• RQ3 提案手法を用いたモデル選択のパフォーマンスは、小規模なターゲット言語開発セットを用いた場合と比べてどの程度か？
• RQ4 この手法は、異なる言語およびNLPタスクにわたってどの程度一般化可能か？
• RQ5 内部表現だけを用いて、モデルのクロスリンガル転移能力を信頼性高く予測できるか？

主な発見

• 提案手法は、5つのターゲット言語および5つのNLPタスクにおいて、英語の検証データに基づく選択よりも一貫して優れたモデルを選択する。
• 小規模なターゲット言語開発データを用いた場合と同等のパフォーマンスを達成し、選択の信頼性を顕著に向上させる。
• ターゲット言語の検証データが存在しない状況において、最小限のアノテート済みデータを有するピボット言語を活用することで、効果的なモデル選択が可能になる。
• 学習されたスコア関数は、テキスト分類、シーケンスラベル付け、自然言語推論など、多様なNLPタスクにわたって良好に一般化する。
• モデル選択の結果のばらつきが低減され、ゼロショットクロスリンガル転移におけるより一貫性があり信頼性の高いパフォーマンスが得られる。