[論文レビュー] LFPT5: A Unified Framework for Lifelong Few-shot Language Learning Based on Prompt Tuning of T5

Chengwei Qin, Shafiq Joty|arXiv (Cornell University)|Oct 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 52被引用数 33

ひとこと要約

LFPT5は事前学習済みのT5モデルを凍結し、調整可能なプロンプト埋め込みを用いて、ドメインとタスクタイプの跨ぐライフロング少数ショットNLPタスクを解決しつつ、忘却を緩和するために疑似サンプルを生成しラベルの一貫性を強制します；NER、分類、要約で強力な結果を達成。

ABSTRACT

Existing approaches to lifelong language learning rely on plenty of labeled data for learning a new task, which is hard to obtain in most real scenarios. Considering that humans can continually learn new tasks from a handful of examples, we expect the models also to be able to generalize well on new few-shot tasks without forgetting the previous ones. In this work, we define this more challenging yet practical problem as Lifelong Few-shot Language Learning (LFLL) and propose a unified framework for it based on prompt tuning of T5. Our framework called LFPT5 takes full advantage of PT's strong few-shot learning ability, and simultaneously trains the model as a task solver and a data generator. Before learning a new domain of the same task type, LFPT5 generates pseudo (labeled) samples of previously learned domains, and later gets trained on those samples to alleviate forgetting of previous knowledge as it learns the new domain. In addition, a KL divergence loss is minimized to achieve label consistency between the previous and the current model. While adapting to a new task type, LFPT5 includes and tunes additional prompt embeddings for the new task. With extensive experiments, we demonstrate that LFPT5 can be applied to various different types of tasks and significantly outperform previous methods in different LFLL settings.

研究の動機と目的

• 実用的で難関な設定として、同じタスク内のドメイン変動と異なるタスクタイプの変動を組み合わせたライフロング少数ショット言語学習（LFLL）を定義する。
• 凍結されたT5バックボーンのプロンプト調整を用いて、タスクソルバーとデータ生成器の双方を務める統一フレームワークLFPT5を提案する。
• 以前に学習したドメインの疑似サンプルをリプレイし、KL発散によるラベル整合性を強制することで壊滅的忘却の緩和を図る。
• 少数ショット設定における sequence labeling、テキスト分類、テキスト生成の各分野でLFPT5の有効性を示す。
• 再現性と広範な利用のためにLFPT5のコードベースをオープンソース化する。

提案手法

• すべてのタスクをテキスト対テキスト形式に再構成し、T5を凍結されたバックボーンとして用いる。
• 新しいタスクへ適応するため、タスクまたはドメインごとに学習されるプロンプト埋め込みPを用い、T5を凍結したままにする。
• 新しいドメインを学習する際には、以前のドメインから疑似ラベル付きサンプルを生成し、新ドメインデータと組み合わせて学習することで忘却を減らす。
• 疑似サンプル上のラベル整合性を確保するため、前のモデル出力と現在のモデル出力の間のKL発散損失を最小化する。
• 新しいタスクタイプに適応する場合、既存のものを凍結したまま新しいタスクのための新しいプロンプト埋め込みを追加・訓練し、タスクプロンプトの動的拡張を可能にする。
• TASK損失（Y given X）と生成された疑似サンプル上のLM損失を用い、L_phi = L_phi^{task} + lambda_lm * L_phi^{lm}、KL正則化 lambda_kl * L_phi^{KL} を併用する。

実験結果

リサーチクエスチョン

• RQ1 LFPT5は、同一ドメインのドメインシフトと異なるタスクタイプの双方にわたる新しい少数ショットタスクに、壊滅的忘却なしに一般化できるか？
• RQ2 疑似サンプル生成とラベル整合性KL発散はLFLLにおける以前の知識の保持を有意に改善するか？
• RQ3 強力なベースラインと比較して、少数ショット設定におけるNER、テキスト分類、テキスト生成でLFPT5はどのように性能を示すか？
• RQ4 LFLL内でタスクタイプ間の前向き知識移転が新しいタスクの学習に与える影響は何か？

主な発見

• LFPT5は、少数ショット設定でNER、分類、要約において従来のライフロング学習ベースラインを大幅に上回る。
• LFPT5によるプロンプト調整は強力な少数ショット結果を達成し、EWCやMASのような正則化ベースのベースラインより忘却を抑制する。
• 疑似サンプルを生成しKL発散によるラベル整合性損失を適用することで、ドメイン拡張時の以前に学習した知識の保持が大幅に向上する。
• 新しいタスクタイプを学習する際、タスクごとのプロンプトエントリはT5のパラメータのおよそ0.04%程度しか必要とせず、パラメータ効率を示す。
• 前向き知識移転を伴うLFPT5のバリアントはタスク順序に応じて学習を助けたり妨げたりするが、全体として複数タスクタイプの学習において他の手法を上回る。
• LFPT5の疑似データ品質はメモリーレ replayをサポートするのに十分高いが、生成ラベルが誤っている場合があり、疑似サンプルの信頼性向上の余地を示している。