[論文レビュー] LiST: Lite Self-training Makes Efficient Few-shot Learners.

Yaqing Wang, Subhabrata Mukherjee+4 more|arXiv (Cornell University)|Oct 12, 2021

Topic Modeling参考文献 37被引用数 5

ひとこと要約

LiSTは、自己学習とアダプタベースのパラメータ効率の良い微調整を組み合わせることで、大規模な事前学習言語モデルの少サンプル微調整を向上させる軽量な自己学習手法である。30例のラベル付き例をタスクあたり使用する場合、従来の微調整よりも35%高いパフォーマンスを達成し、プロンプト微調整よりも6%高い性能を示す一方で、トレーニング可能なパラメータ数を96%削減する。

ABSTRACT

We present a new method LiST for efficient fine-tuning of large pre-trained language models (PLMs) in few-shot learning settings. LiST significantly improves over recent methods that adopt prompt fine-tuning using two key techniques. The first one is the use of self-training to leverage large amounts of unlabeled data for prompt-tuning to significantly boost the model performance in few-shot settings. We use self-training in conjunction with meta-learning for re-weighting noisy pseudo-prompt labels. However, traditional self-training is expensive as it requires updating all the model parameters repetitively. Therefore, we use a second technique for light-weight fine-tuning where we introduce a small number of task-specific adapter parameters that are fine-tuned during self-training while keeping the PLM encoder frozen. This also significantly reduces the overall model footprint across several tasks that can now share a common PLM encoder as backbone for inference. Combining the above techniques, LiST not only improves the model performance for few-shot learning on target domains but also reduces the model memory footprint. We present a comprehensive study on six NLU tasks to validate the effectiveness of LiST. The results show that LiST improves by 35% over classic fine-tuning methods and 6% over prompt-tuning with 96% reduction in number of trainable parameters when fine-tuned with no more than 30 labeled examples from each target domain.

研究の動機と目的

• 最小限のラベル付きデータで事前学習言語モデルの少サンプル学習パフォーマンスを向上させること。
• リソースが限られた環境における微調整モデルのメモリおよびパラメータの消費を低減すること。
• 共通のPLMバックボーンを用いて、複数のNLUタスクに効率的かつスケーラブルに適応できること。
• 自己学習中の疑似ラベル付きプロンプトのノイズを、メタラーニングによる再重み付けによって軽減すること。

提案手法

• 自己学習を用いて、プロンプト微調整における少サンプルパフォーマンス向上のため、大量のラベルなしデータを活用する。
• タスク固有のアダプタモジュールを導入し、PLMエンコーダーを凍結したまま微調整することで、パラメータ更新を削減する。
• 自己学習中に生成されるノイズの多い疑似プロンプトラベルの信頼性を向上させるために、メタラーニングを適用する。
• 自己学習とアダプタベースの微調整を組み合わせることで、計算コストを最小限に抑えながら高いパフォーマンスを維持する。
• 複数のタスク間で同一の凍結済みPLMエンコーダーを共有することで、効率的な推論とモデル圧縮を実現する。
• PLMの完全な微調整を回避する軽量なトレーニングパイプラインを採用することで、メモリ消費を顕著に削減する。

実験結果

リサーチクエスチョン

• RQ1 自己学習をパラメータ効率の良い適応と組み合わせることで、プロンプト微調整モデルの少サンプルパフォーマンスを向上させられるか？
• RQ2 アダプタベースの微調整は、パフォーマンスを維持したまま、トレーニング可能なパラメータ数をどれほど削減できるか？
• RQ3 メタラーニングを用いることで、少サンプルNLUにおける自己学習の疑似ラベル付きプロンプトの信頼性を向上させられるか？
• RQ4 限られたラベル付きデータでの少サンプル微調整において、パフォーマンスの向上とパラメータ効率のトレードオフはどのようなものか？
• RQ5 最小限の微調整オーバーヘッドで、共通のPLMバックボーンを複数のタスクに効果的に適用できるか？

主な発見

• LiSTは、タスクあたり30例以下のラベル付き例を使用する場合、従来の微調整よりも35%高い少サンプル学習パフォーマンスを達成する。
• 同じ少サンプル設定下で、LiSTはプロンプト微調整よりも6%高いパフォーマンスを達成する。
• 標準的な微調整と比較して、LiSTはトレーニング可能なパラメータ数を96%削減する。
• アダプタの使用により、PLMエンコーダーを凍結したまま効率的でタスク固有の適応が可能になる。
• 最小限のラベル付きデータで、6つの多様なNLUタスクにわたる強力な一般化性能を維持する。
• メタラーニングによる再重み付けを施した自己学習により、ノイズが低減され、モデルのロバスト性が向上する。