[論文レビュー] MetaPrompting: Learning to Learn Better Prompts

Yutai Hou, Hongyuan Dong+3 more|arXiv (Cornell University)|Sep 23, 2022

Topic Modeling被引用数 13

ひとこと要約

MetaPromptingは、few-shot NLPにおけるソフトプロンプトの一般化可能でタスクに依存しない初期化を自動で学習するメタラーニングフレームワークを提案する。これにより、適応速度と精度が顕著に向上する。最適化に基づくメタラーニング（例：MAML++）を活用することで、4つのデータセットで1ショット設定において7ポイント以上の精度向上を達成し、最先端の性能を実現する。

ABSTRACT

Prompting method is regarded as one of the crucial progress for few-shot nature language processing. Recent research on prompting moves from discrete tokens based ``hard prompts'' to continuous ``soft prompts'', which employ learnable vectors as pseudo prompt tokens and achieve better performance. Though showing promising prospects, these soft-prompting methods are observed to rely heavily on good initialization to take effect. Unfortunately, obtaining a perfect initialization for soft prompts requires understanding of inner language models working and elaborate design, which is no easy task and has to restart from scratch for each new task. To remedy this, we propose a generalized soft prompting method called MetaPrompting, which adopts the well-recognized model-agnostic meta-learning algorithm to automatically find better prompt initialization that facilitates fast adaptation to new prompting tasks.Extensive experiments show MetaPrompting tackles soft prompt initialization problem and brings significant improvement on four different datasets (over 6 points improvement in accuracy for 1-shot setting), achieving new state-of-the-art performance.

研究の動機と目的

• 低リソースなfew-shot学習におけるソフトプロンプト手法の初期化への感受性という重要な問題に取り組む。
• タスク固有の手動によるプロンプト設計の必要性を減らすために、汎用的な初期化を学習する。
• 多様な下流NLPタスクにおいて、ソフトプロンプトの迅速な適応性と頑健性を向上させる。
• 再訓練を一切行わずに、ソースタスクから得た転送可能なメタ知識を新しいターゲットタスクに適用できるようにする。
• 実運用環境における異なるプロンプトテンプレートや形式の変動が引き起こす性能のばらつきを軽減する。

提案手法

• 複数のソースタスクにわたるソフトプロンプトの共有初期化を学習するために、モデルに依存しないメタラーニング（MAML、Reptileなど）を採用する。
• メタトレーニングループを採用し、少数のショットタスクの分布に対して最適化することで、迅速な適応を可能にするパラメータ初期化を発見する。
• 新しいタスクにおけるメタテスト時に、メタで学習した初期化（ϕ_meta）をソフトプロンプトベクトルの出発点として適用する。
• 適応段階で勾配ベースの最適化を用いてソフトプロンプトパラメータを更新し、メタ初期化がより速い収束を促進する。
• 連続的ソフトプロンプトとメタラーニングを統合することで、多様なソースタスクから学習し、未観測のターゲットに一般化できるようにする。
• MAML++にMSLBテクニックを適用し、訓練の安定性を向上させ、標準的なMAMLおよびReptileの変種よりも性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングは、few-shot NLPにおけるソフトプロンプト初期化問題に効果的に適用可能か？
• RQ2 ランダムまたはヒューリスティックな初期化と比較して、メタで学習した初期化は、新しいfew-shot NLPタスクにおける適応速度と精度を向上させるか？
• RQ3 異なるデータセット間でプロンプトテンプレートやプロンプト形式の変化に対して、MetaPromptingはどれほど頑健か？
• RQ4 ソースタスクから学習したメタ知識は、ゼロショットまたはfew-shot設定において未観測のターゲットタスクに効果的に一般化可能か？
• RQ5 ソフトプロンプトチューニングに適用した場合、MAML++やReptileなどの異なるメタラーニングアルゴリズムの性能と安定性はどのように比較できるか？

主な発見

• MetaPromptingは、4つのデータセットにおいて1ショット設定で標準的なソフトプロンプティングと比較して平均7.1ポイントの精度向上を達成した。
• Amazonデータセットでは、MAML++を用いた1ショット学習で71.93%の精度に到達し、ベースラインを7ポイント以上上回った。
• 異なるプロンプトテンプレートに対する性能ばらつきが軽減され、1ショット設定下でHuffPostデータセットにおいて標準偏差が±0.23（ベースラインは±3.46）にまで低下した。
• MetaPromptingは、すべての評価済みデータセットおよびfew-shot設定において、Reptile や FOMAML といった強力なメタラーニングベースラインを一貫して上回った。
• トレーニングダイナミクスにおいて、適応損失曲線が急峻かつ低い傾きを示すことで、適応段階での収束が速いことが実証された。
• MSLBテクニックを適用したMAML++が最良の性能を示した一方、Reptileは大規模言語モデルのチューニングにおける不安定性のため、性能が劣った。