[論文レビュー] Don't Stop Pretraining? Make Prompt-based Fine-tuning Powerful Learner

Zhengxiang Shi, Aldo Lipani|arXiv (Cornell University)|May 2, 2023

Topic Modeling被引用数 6

ひとこと要約

この論文は、特にプロンプトベースのファインチューニングにおいて、タスク固有のデータに対する継続的プレトレーニングがファインチューニング性能を向上させるという仮定に挑戦する。プロンプトベースの継続的プレトレーニング（PCP）を提案し、タスク固有のテキストとタスク固有のプロンプトテンプレートを、教師なしの目的関数を用いて同時にプレトレーニングすることで、標準的なファインチューニングよりも最大20.1%の絶対的向上を達成し、反復処理を必要とせず最小限のデータで最先端の半教師あり手法を上回る。

ABSTRACT

Language models (LMs) trained on vast quantities of unlabelled data have greatly advanced the field of natural language processing (NLP). In this study, we re-visit the widely accepted notion in NLP that continued pre-training LMs on task-related texts improves the performance of fine-tuning (FT) in downstream tasks. Through experiments on eight single-sentence tasks and eight sentence-pair tasks in both semi-supervised and fully-supervised settings, we find that conventional continued pre-training does not consistently provide benefits and can even be detrimental for sentence-pair tasks or when prompt-based FT is used. To tackle these issues, we propose Prompt-based Continued Pre-training (PCP), which combines the idea of instruction tuning with conventional continued pre-training. Our approach aims to improve the performance of prompt-based FT by presenting both task-related texts and prompt templates to LMs through unsupervised pre-training objectives before fine-tuning for the target task. Our empirical evaluations on 21 benchmarks demonstrate that the PCP consistently improves the performance of state-of-the-art prompt-based FT approaches (up to 20.1% absolute) in both semi-supervised and fully-supervised settings, even with only hundreds of unlabelled examples. Additionally, prompt-based FT with the PCP outperforms state-of-the-art semi-supervised approaches with greater simplicity, eliminating the need for an iterative process and extra data augmentation. Our further analysis explores the performance lower bound of the PCP and reveals that the advantages of PCP persist across different sizes of models and datasets.

研究の動機と目的

• 従来のタスク固有のデータに対する継続的プレトレーニングが、特にプロンプトベースの手法において、一貫してファインチューニング性能を向上させるかどうかを調査すること。
• 標準的な継続的プレトレーニングを用いた場合に観察される文のペアタスクやプロンプトベースのファインチューニングにおける不安定性と性能低下を解消すること。
• 最小限のラベルなしデータを用いて、プロンプトベースのファインチューニング性能を向上させる統一的で効果的なプレトレーニング戦略を提案すること。
• プレトレーニング段階でタスクデータとプロンプトテンプレートを組み合わせることで、標準的な継続的プレトレーニングや既存の半教師あり手法よりも優れた下流タスク性能が得られることを示すこと。
• 提案手法の堅牢性とスケーラビリティが、異なるモデルサイズ、データセット、およびトレーニング体制においても保たれることを検証すること。

提案手法

• タスク固有のテキストとそれに対応するプロンプトテンプレート（ラベルマッピングを含む）を、教師なしの目的関数を用いて同時にプレトレーニングする、新しいプレトレーニング戦略「プロンプトベースの継続的プレトレーニング（PCP）」を提案する。
• 入力シーケンスとして、入力テキストとラベル空間をトークン列にマッピングするプロンプトテンプレートを含む、マスク言語モデルをプレトレーニングの目的関数として用いる。
• ドメイン内、ラベルなしタスクデータと、ゴールデンまたは擬似ラベル付きプロンプトを用いて構築された合成例の混合物を用いて、言語モデルをトレーニングする。
• プレトレーニング段階でプロンプトテンプレートを入力シーケンスに統合し、モデルが入力と指示の両方に注目するよう学習させ、下流タスクとの整合性を高める。
• PCPの後に標準的なプロンプトベースのファインチューニングを適用するが、追加のデータ拡張や反復的最適化は不要である。
• すべてのタスクで統一されたフレームワークを用い、タスク固有のチューニングや複雑な適応手順を回避する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有のデータに対する従来の継続的プレトレーニングは、多様なNLPタスクにおいて、常にプロンプトベースのファインチューニング性能を向上させるのか？
• RQ2 タスクデータとプロンプトテンプレートを共同でプレトレーニングすることで、標準的な継続的プレトレーニングで観察される文のペアタスクにおける性能低下が緩和されるのか？
• RQ3 精度、単純さ、データ効率の観点から、PCPの性能は最先端の半教師あり学習手法と比べてどうなるのか？
• RQ4 PCPがプロンプトベースのファインチューニングで顕著な向上をもたらすために必要な最小限のラベルなしデータ量はどの程度か？
• RQ5 PCPの利点は、異なるモデルサイズやデータセットスケールにおいても持続するのか？

主な発見

• 従来の継続的プレトレーニング（TAPT）は、文のペアタスクにおいてプロンプトベースのファインチューニングで9.2%の性能低下を引き起こすことがある。これは、それが常に有益であるとは限らないことを示している。
• PCPは21のベンチマークで、標準的なファインチューニングやTAPTを大きく上回り、最大20.1%の絶対的精度向上を達成した。
• PCPはわずか100〜500個のラベルなし例を用いて半教師あり設定で最先端の性能を達成し、高いデータ効率を示した。
• 反復的自己トレーニングやデータ拡張を用いる既存の半教師あり手法と比較して、反復処理や追加データを必要とせず、PCPが優れた性能を発揮した。
• PCPによる性能向上は、異なるモデルサイズやデータセットスケールにおいても堅牢であり、一貫した下限の向上を示した。
• PCPは、小さなモデルや限られたデータに対してもその利点を維持しており、広範な適用可能性とスケーラビリティを示している。