[論文レビュー] Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning

Xiangyu Peng, Xing Chen+3 more|arXiv (Cornell University)|Oct 23, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、少数のラベル付きデータがある状況下で、各ターゲットサンプルのニーズに応じて複数のソースタスクモデルの予測を動的に重み付けすることで性能を向上させる、少サンプルプロンプトチューニングのための新手法である、サンプル固有のソースモデルアンサンブル（SESoM）を提案する。プロンプト統合とは異なり、SESoMはアテンションベースの重み付け機構を備えたサンプル固有のアンサンブル戦略を採用しており、8つのNLPタスクおよび3つのモデルスケール（T5-BaseからT5-XL）において最先端の結果を達成している。

ABSTRACT

Prompt tuning approaches, which learn task-specific soft prompts for a downstream task conditioning on frozen pre-trained models, have attracted growing interest due to its parameter efficiency. With large language models and sufficient training data, prompt tuning performs comparably to full-model tuning. However, with limited training samples in few-shot settings, prompt tuning fails to match the performance of full-model fine-tuning. In this work, we focus on improving the few-shot performance of prompt tuning by transferring knowledge from soft prompts of source tasks. Recognizing the good generalization capabilities of ensemble methods in low-data regime, we first experiment and show that a simple ensemble of model predictions based on different source prompts, outperforms existing multi-prompt knowledge transfer approaches such as source prompt fusion in the few-shot setting. Motivated by this observation, we further investigate model ensembles and propose Sample-specific Ensemble of Source Models (SESoM). SESoM learns to adjust the contribution of each source model for each target sample separately when ensembling source model outputs. Through this way, SESoM inherits the superior generalization of model ensemble approaches and simultaneously captures the sample-specific competence of each source prompt. We conduct experiments across a diverse set of eight NLP tasks using models of different scales (T5-{base, large, XL}) and find that SESoM consistently outperforms the existing models of the same as well as larger parametric scale by a large margin.

研究の動機と目的

• ラベル付きデータが限られる状況での少サンプルプロンプトチューニングの性能向上を目的とする。
• 少データ環境下での既存のマルチプロンプト知識移譲手法（例：プロンプト統合）の限界を解消することを目的とする。
• 複数のソースタスクからのソフトプロンプトを活用し、少サンプル設定における一般化性能を向上させることを目的とする。
• 固定の統合ルールではなく、個々のターゲットサンプルに適応するモデルアンサンブル戦略を開発することを目的とする。
• サンプル固有のモデルアンサンブルが、プロンプトレベルの統合や均一なアンサンブルベースラインを上回ることを実証することを目的とする。

提案手法

• 複数のソースモデルからの予測を動的かつサンプル固有の重みでアンサンブルする手法として、サンプル固有のソースモデルアンサンブル（SESoM）を提案する。
• 各ターゲット入力の特徴と各ソースモデルのパフォーマンスに基づき、アテンションスタイルのネットワーク（G）を用いて、適応的なアンサンブル重みを生成する。
• ターゲットタスクの少サンプルラベル付きデータを用いてアンサンブル重みを学習させ、各サンプルに対してどのソースモデルが最も有能であるかをモデルが学習できるようにする。
• プロンプト統合の代わりに、モデルレベルのアンサンブルを採用：ソフトプロンプトを統合するのではなく、学習されたアテンション重みを用いてモデル出力を統合する。
• すべてのパラメータを固定した事前学習モデル（T5-base, large, XL）と統合し、ターゲットタスクのソフトプロンプトのみを微調整する。
• 学習されたアテンション重みを用いたロジット平均化を適用し、ソースモデルからの予測を統合することで、少データ環境下でのロバスト性と正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 異なるソースモデルの予測を単純にアンサンブルする手法が、少サンプルプロンプトチューニングにおいてプロンプト統合を上回る性能を発揮できるか？
• RQ2 各ターゲットサンプルが固有のソースモデルの寄与を受けるサンプル固有のアンサンブル戦略が、固定または均一なアンサンブルよりも効果的か？
• RQ3 SESoMの性能は、多様なNLPタスクおよびモデルスケール（T5-Base, Large, XL）において、プロンプト統合や他のアンサンブルベースラインと比較してどうか？
• RQ4 SESoMが学習するアテンション重みは、個々のターゲットサンプルにおけるソースモデルの実際の予測能力と整合しているか？
• RQ5 ターゲットタスクのラベル付き例が極めて少ない状況でも、SESoMは十分に一般化できるか？

主な発見

• 単純な均一なロジット平均化アンサンブルが、少サンプル設定においてプロンプト統合や他のマルチプロンプト知識移譲手法を上回る性能を発揮する。
• SESoMは、評価された8つのNLPタスクおよび3つのT5モデルスケール（Base, Large, XL）において、すべてのベースライン（プロンプト統合や他のアンサンブル手法を含む）を一貫して上回る。
• MRPCタスクにおけるケーススタディでは、SESoMが各ターゲットサンプルに対して正しい予測を行うソースモデルに高いアテンション重みを割り当てており、サンプル固有の適応性が裏付けられている。
• SESoMのモジュールGが生成するアテンション重みは、各サンプルごとのソースモデルの実際のパフォーマンスと整合しており、モデルが文脈に適した関連のあるアンサンブルを学習できていることが確認された。
• ラベル付き例の数やソースタスクの数を増やしても、SESoMは優れた性能を維持し、スケーラビリティとロバスト性が優れていることが示された。
• 本手法は、すべてのテスト環境で最先端の結果を達成しており、サンプル固有の重み付けを施したモデルレベルのアンサンブルが、プロンプトレベルの統合よりも効果的であることが示された。