[論文レビュー] Progressive Prompts: Continual Learning for Language Models

Anastasia Razdaibiedina, Yuning Mao+4 more|arXiv (Cornell University)|Jan 29, 2023

Domain Adaptation and Few-Shot Learning被引用数 15

ひとこと要約

Progressive Prompts は、タスクごとに新しいソフトプロンプトを学習し、基盤モデルを凍結したまま前方転移を強力に達成し忘却を防ぐことで、メモリ効率の高い継続学習法を導入します。

ABSTRACT

We introduce Progressive Prompts - a simple and efficient approach for continual learning in language models. Our method allows forward transfer and resists catastrophic forgetting, without relying on data replay or a large number of task-specific parameters. Progressive Prompts learns a new soft prompt for each task and sequentially concatenates it with the previously learned prompts, while keeping the base model frozen. Experiments on standard continual learning benchmarks show that our approach outperforms state-of-the-art methods, with an improvement >20% in average test accuracy over the previous best-preforming method on T5 model. We also explore a more challenging continual learning setup with longer sequences of tasks and show that Progressive Prompts significantly outperforms prior methods.

研究の動機と目的

• 言語モデルにおける継続学習を動機づけ、破局的忘却と前方転移を解決する。
• リプレイや大規模パラメータ増加なしで、タスク特異的プロンプトを用いるメモリ効率の良い方法を提案する。
• 標準的な CL ベンチマークでの BERT と T5 の有効性と、より長いタスク列での適用性を示す。
• 訓練を安定化させるプロンプト埋め込みの再パラメータ化技術を紹介する。

提案手法

• 各着信タスク T_k に対して別個のソフトプロンプト P_k を学習する。
• 新しいプロンプトを、基盤モデルを凍結したまま、これまでに学習したすべてのプロンプトと順次結合する。
• タスク T_k のみの新しいプロンプトパラメータ θ_{P_k} を訓練する。
• プロンプト埋め込み P_k -> P_k' = MLP(P_k) + P_k に再パラメータ化する残差型 MLP を用いて訓練を安定化させる。
• 訓練後、MLP を破棄するが、将来の使用のために投影された P_k' を保持する。
• デプロイ対象をトランスフォーマーモデル（BERT および T5）に適用し、データリプレイなしで評価する。

Figure 1: Illustrating our proposed method Progressive Prompts and contrasting it with a simple adaptation of progressive networks using prompt tuning. In the simple adaptation of progressive networks we learn a separate prompt and repeat the frozen input embeddings for each new task. This setup req

実験結果

リサーチクエスチョン

• RQ1 Progressive Prompts は、タスクの連続において破局的忘却を防ぐか。
• RQ2 Progressive Prompts は、基盤モデルを再訓練せずに将来のタスクの学習を前方転移で向上させることができるか。
• RQ3 プロンプト埋め込みの再パラメータ化は、継続学習における安定性と性能にどのように影響するか。

主な発見

• Progressive Prompts は、BERT および T5 の標準的なテキスト分類ベンチマークで最先端の継続学習法を上回る。
• T5 では、few-shot 設定で前のベスト法より平均精度が 20% 超の改善を達成。
• より長いタスク系列（15 タスク）において、Progressive Prompts は BERT および T5 の従来手法を顕著に上回る。
• 残差型 MLP を用いた埋め込み再パラメータ化は、長期的にパラメータ数を増やすことなくプロンプト調整の安定性と性能を向上させる。
• 本手法はモデルに依存せず、データリプレイや多数のタスク特有パラメータの保存を必要としない。

Figure 2: Average attention scores between prompts in Progressive Prompts.