[論文レビュー] Entailment as Few-Shot Learner

Sinong Wang, Fang Han+3 more|arXiv (Cornell University)|Apr 29, 2021

Topic Modeling参考文献 46被引用数 106

ひとこと要約

本論文は EFL を提案する。EFL は NLP の分類タスクを文本的含蓄問題に変換し、小規模言語モデルでのFew-shot学習を可能にする手法であり、18タスクと多言語設定において高い成果を達成する。

ABSTRACT

Large pre-trained language models (LMs) have demonstrated remarkable ability as few-shot learners. However, their success hinges largely on scaling model parameters to a degree that makes it challenging to train and serve. In this paper, we propose a new approach, named as EFL, that can turn small LMs into better few-shot learners. The key idea of this approach is to reformulate potential NLP task into an entailment one, and then fine-tune the model with as little as 8 examples. We further demonstrate our proposed method can be: (i) naturally combined with an unsupervised contrastive learning-based data augmentation method; (ii) easily extended to multilingual few-shot learning. A systematic evaluation on 18 standard NLP tasks demonstrates that this approach improves the various existing SOTA few-shot learning methods by 12\%, and yields competitive few-shot performance with 500 times larger models, such as GPT-3.

研究の動機と目的

• NLPタスクを含蓄として再定式化することが、小規模LMを用いた効果的なFew-shot学習を可能にすることを実証する。
• EFLを対照的データ拡張と組み合わせて性能を向上させられることを示す。
• EFLを多言語Few-shot学習に拡張し、言語間移送を評価する。

提案手法

• 分類/回帰タスクを、クラスラベルを自然言語の説明に変換して文本的含蓄へ再定式化する。
• クラスあたり小規模データセットK=8を用いて、含蓄形式に基づく微調整を行う。
• 下流のファインチューニング(EFL)の前にMNLI(含蓄タスク)で任意に事前訓練を行う。
• 教師なし対照データ拡張(UCA)を用いて新しい含蓄スタイルの訓練ペアを生成する。
• GLUE、SNLI、BoolQなどを含む18のNLPタスクでRoBERTa-largeを用いて評価する。
• データソースとしてXLM-RとMNLI/XNLIを用いて、 多言語シナリオへ評価を拡張する。

実験結果

リサーチクエスチョン

• RQ1 従来のファインチューニングを用いる代わりに、タスクを含蓄として再定式化することで、小規模言語モデルをFew-shot学習者として劇的に改善できるのか。
• RQ2 ラベル付きデータが限られている場合、含蓄ベースのファインチューニングは多様なタスクと言語間でうまく転送されるか。
• RQ3 ラベル記述が含蓄ベースのFew-shot性能に与える影響は何か。
• RQ4 EFLはデータ拡張手法と多言語訓練体制とどのように相互作用するか。

主な発見

• EFLは、標準的なファインチューニング、LM-BFF、Stilts-NLI、Stilts-Closeに対してFew-shot性能を大幅に改善し、15タスクで平均8.2%の改善を達成する。
• EFLは、GPT-3のような500倍規模のモデルと比較して、Few-shot設定で競争力のある性能を達成する。
• 教師なし対照データ拡張(UCA)は結果をさらに改善し、15タスクで平均約2.7ptの向上を達成する。
• XLM-Rを用いた多言語版EFLは、標準的なファインチューニングと比較して著しい改善を示し、7タスクで平均61.9から80.7の改善が見られる。
• 全学習では、RoBERTa-largeのファインチューニングに比べて約1.9ptの平均改善をEFLがもたらす。
• 8-shot学習を用いたEFLは、伝統的手法を大きなマージンで上回ることがある、特に文ペアタスクで。