[論文レビュー] A Closer Look at Few-Shot Crosslingual Transfer: Variance, Benchmarks and Baselines.

Mengjie Zhao, Yi Zhu+4 more|arXiv (Cornell University)|Dec 31, 2020

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿は、高リソース言語で事前学習した多言語モデルを、低リソース言語の少数ラベル付き例で微調整する少サンプルクロスリンガル転移を調査する。少数サンプルセットにおける性能の高いばらつきが明らかになり、複数サンプル評価の重要性が提唱された。また、大規模モデルは語彙的手がかりに強く依存し、迅速に過学習する傾向にあり、高度な手法が標準的微調整を上回る顕著な向上は得られなかった。

ABSTRACT

We present a focused study of few-shot crosslingual transfer, a recently proposed NLP scenario: a pretrained multilingual encoder is first finetuned on many annotations in a high resource language (typically English), and then finetuned on a few annotations (the ``few shots'') in a target language. Few-shot transfer brings large improvements over zero-shot transfer. However, we show that it inherently has large variance and it is necessary to report results on multiple sets of few shots for stable results and to guarantee fair comparison of different algorithms. To address this problem, we publish our few-shot sets. In a study of why few-shot learning outperforms zero-shot transfer, we show that large models heavily rely on lexical hints when finetuned on a few shots and then overfit quickly. We evaluate different methods that use few-shot annotations, but do not observe significant improvements over the baseline. This calls for better ways of utilizing the few-shot annotations.

研究の動機と目的

• 自然言語処理における少サンプルクロスリンガル転移の安定性と信頼性を調査すること。
• 異なる少サンプルデータ分割における少サンプル転移性能のばらつきの原因を特定すること。
• 少サンプル設定において、高度な手法が標準的微調整を上回るかどうかを評価すること。
• 公平で再現可能なベンチマーク評価を支援するため、公開可能な少サンプルアノテーションセットを提供すること。
• 少サンプル転移がゼロショットを上回る理由を理解し、その改善が頑健かどうかを解明すること。

提案手法

• 本研究では、高リソース言語データで微調整された多言語エンコーダーを、ターゲット言語の少数ラベル付き例でさらに微調整することで、少サンプルクロスリンガル転移を評価する。
• 性能のばらつきを評価するために、複数のランダムな少サンプルセットを作成し、異なるデータ分割における性能を評価する。
• 注意機構のパターンと特徴表現を分析することで、モデルが語彙的手がかりにどれほど依存しているかを検出する。
• 少サンプルアノテーションをより効果的に活用することを目的とした、さまざまな高度な手法と標準的微調整を比較する。
• 少サンプルアノテーションセットを公開することで、再現可能なベンチマーク評価を支援する。
• 複数のターゲット言語とタスクにおける性能評価を通じて、一般化性を確認する。

実験結果

リサーチクエスチョン

• RQ1 異なる少サンプルデータ分割における少サンプルクロスリンガル転移性能に、どの程度のばらつきが存在するか？
• RQ2 なぜ少サンプル転移がゼロショットを上回るのか、その改善は一貫して頑健か？
• RQ3 大規模モデルが少サンプル例で微調整される際に、語彙的手がかりにどれほど依存するか？
• RQ4 少サンプル学習のための高度な手法が、標準的微調整を顕著に上回る性能を発揮するか？
• RQ5 複数サンプル評価なしでは、少サンプル手法間の安定的かつ公平な比較が可能か？

主な発見

• 少サンプルクロスリンガル転移は、異なる少サンプルデータ分割において顕著なばらつきを示しており、信頼できる比較には複数回の評価が不可欠である。
• 大規模モデルは、少サンプル微調整中に語彙的ヒントに強く依存しており、小さなデータセットでも迅速に過学習する傾向にある。
• 多数の提案手法が存在するものの、少サンプル設定では標準的微調整を顕著に上回る向上は観察されなかった。
• 少サンプル転移がゼロショットを上回る性能向上は、すべてのデータ分割で一貫しないことが判明し、不安定性が示された。
• 本研究では、公平なベンチマーク評価には、単一の分割ではなく複数の少サンプルセットにおける結果報告が不可欠であることを確認した。
• 著者らは、今後の研究における再現可能で安定した評価を支援するため、少サンプルアノテーションセットを公開した。