[論文レビュー] PANDA: Prompt Transfer Meets Knowledge Distillation for Efficient Model Adaptation

Qihuang Zhong, Liang Ding+3 more|arXiv (Cornell University)|Aug 22, 2022

Domain Adaptation and Few-Shot Learning被引用数 14

ひとこと要約

PANDAは、新しいタスク類似度メトリクスと知識蒸留を組み合わせた画期的なプロンプト転送手法を提案する。この手法により、小規模および大規模な事前学習言語モデル（PLM）における少样本プロンプトチューニングの性能が向上する。意味的タスク埋め込みを用いて転送をガイドし、ソースプロンプトからターゲットプロンプトへ知識を蒸留することで、PANDAは全微調整と同等またはそれ以上の性能を達成し、189のタスクペア平均でバニラプロンプト転送を2.3%上回る。

ABSTRACT

Prompt Transfer (PoT) is a recently-proposed approach to improve prompt-tuning, by initializing the target prompt with the existing prompt trained on similar source tasks. However, such a vanilla PoT approach usually achieves sub-optimal performance, as (i) the PoT is sensitive to the similarity of source-target pair and (ii) directly fine-tuning the prompt initialized with source prompt on target task might lead to forgetting of the useful general knowledge learned from source task. To tackle these issues, we propose a new metric to accurately predict the prompt transferability (regarding (i)), and a novel PoT approach (namely PANDA) that leverages the knowledge distillation technique to alleviate the knowledge forgetting effectively (regarding (ii)). Extensive and systematic experiments on 189 combinations of 21 source and 9 target datasets across 5 scales of PLMs demonstrate that: 1) our proposed metric works well to predict the prompt transferability; 2) our PANDA consistently outperforms the vanilla PoT approach by 2.3% average score (up to 24.1%) among all tasks and model sizes; 3) with our PANDA approach, prompt-tuning can achieve competitive and even better performance than model-tuning in various PLM scales scenarios. We have publicly released our code in https://github.com/WHU-ZQH/PANDA.

研究の動機と目的

• プロンプトチューニングが小規模事前学習言語モデル（PLM）において全微調整に劣る性能を示す問題に対処する。
• バニラプロンプト転送（PoT）の2つの主な限界を克服する：ソース・ターゲットタスクの類似度に敏感であること、およびソース知識の崩壊（catastrophic forgetting）を起こすこと。
• プロンプトパラメータ類似度ではなく、意味的タスク埋め込みに基づいてプロンプト転送可能性を予測する信頼性の高いメトリクスを開発する。
• 知識蒸留に基づくプロンプト転送メカニズムを設計し、ソースプロンプトからターゲットプロンプトへと知識を繊細に転送し、記憶の喪失を防ぐ。
• 提案されたメトリクスを動的バランス要因として用いて、真値ラベルとソフトラベルの監視信号を適応的に統合する、柔軟なプロンプト転送を可能にする。

提案手法

• ソースおよびターゲットタスクをそのソフトプロンプトを用いて共通の意味的空間にマップし、タスク埋め込み間の類似度を計算することで、新たなプロンプト転送可能性メトリクスを提案する。
• 知識蒸留を用いる：ソースプロンプトを教師とし、ランダムに初期化されたターゲットプロンプトを学生とする。
• 学生プロンプトは、真値ラベルと教師ネットワークが予測するソフトラベルの両方を用いて学習され、更新されるのは学生プロンプトのパラメータのみである。
• 予測されたプロンプト転送可能性スコアを重み係数として用い、真値ラベルとソフトラベルの2つの監視信号を動的にバランスさせる。
• 複数のPLMサイズ（BERT-tinyから大規模モデルまで）および21のソースデータセットと9つのターゲットデータセットを用い、汎用性を評価する。
• すべてのタスクに共通のエンコーダーを用い、すべてのPLMパラメータを固定したまま、各タスクのソフトプロンプトのみをチューニングする。

実験結果

リサーチクエスチョン

• RQ1 プロンプトパラメータ類似度に依存する従来の手法と比較して、意味的ベースのメトリクスが、プロンプト転送可能性をよりよく予測できるか？
• RQ2 プロンプト転送における知識蒸留は、新しいタスクでの微調整中に深刻な記憶の喪失（catastrophic forgetting）を効果的に軽減できるか？
• RQ3 提案されたPANDAフレームワークは、さまざまなPLMサイズにおいて、全パラメータ微調整（モデルチューニング）と同等またはそれ以上の性能を達成できるか？
• RQ4 PANDAは、さまざまなNLPタスクとモデルスケールにおいて、バニラプロンプト転送および標準的な微調整と比較して、どのように性能を発揮するか？
• RQ5 転送可能性メトリクスは、各ソース・ターゲットペアに対して知識蒸留の強度を動的に調整することで、適応的プロンプト転送を可能にできるか？

主な発見

• 提案されたプロンプト転送可能性メトリクスは、従来の手法（例：プロンプト埋め込みのコサイン類似度）に比べ、効果的なソース・ターゲットタスクペアの予測において顕著に優れている。
• PANDAは、全189のタスクコンビネーションおよびすべてのPLMサイズにおいて、バニラプロンプト転送（SPoT）を平均2.3%上回り、特定のタスクでは最大24.1%の向上を達成している。
• PANDAを用いることで、プロンプトチューニングは、小規模モデル（例：BERT-tiny）を含むすべてのPLMスケールで、全モデル微調整と同等またはそれ以上の性能を達成する。
• アブレーションスタディにより、転送可能性メトリクスと知識蒸留の両方が不可欠な要素であることが確認され、いずれかを除去すると性能が低下する。
• BERT-smallでは、PANDAはSuperGLUEで平均68.3%のスコアを達成し、SPoT（66.1%）を上回り、モデル微調整の性能に近づいた。
• この手法は、GLUE、SuperGLUE、および名前付きエンティティ認識タスク（例：CoNLL04）を含む多様なNLPベンチマークで良好に一般化され、堅牢性とスケーラビリティを示している。