[論文レビュー] Prompt Consistency for Zero-Shot Task Generalization

Chunting Zhou, Junxian He+3 more|arXiv (Cornell University)|Apr 29, 2022

Topic Modeling被引用数 4

ひとこと要約

この論文では、ラベルなしデータを用いて、大規模言語モデルにおけるゼロショットタスク一般化を向上させるために、スウォーム蒸留を用いたプロンプト一貫性正則化を提案する。同じ入力に対して複数の同義的プロンプトを用いて予測の一貫性を促進することで、11のNLPベンチマークのうち9つで最先端の性能を達成し、最小限のラベル付きデータとわずか数個のラベルなし例でのみ、正解率を最大10.6ポイント向上させた。

ABSTRACT

One of the most impressive results of recent NLP history is the ability of pre-trained language models to solve new tasks in a zero-shot setting. To achieve this, NLP tasks are framed as natural language prompts, generating a response indicating the predicted output. Nonetheless, the performance in such settings often lags far behind its supervised counterpart, suggesting a large space for potential improvement. In this paper, we explore methods to utilize unlabeled data to improve zero-shot performance. Specifically, we take advantage of the fact that multiple prompts can be used to specify a single task, and propose to regularize prompt consistency, encouraging consistent predictions over this diverse set of prompts. Our method makes it possible to fine-tune the model either with extra unlabeled training data, or directly on test input at inference time in an unsupervised manner. In experiments, our approach outperforms the state-of-the-art zero-shot learner, T0 (Sanh et al., 2022), on 9 out of 11 datasets across 4 NLP tasks by up to 10.6 absolute points in terms of accuracy. The gains are often attained with a small number of unlabeled examples.

研究の動機と目的

• ラベル付きデータに依存せずに事前学習済み言語モデルのゼロショット一般化を向上させること。
• モデルの予測がプロンプトの表現に敏感であることがゼロショット性能を制限する問題を解決すること。
• ラベルなしデータを活用して、同じタスクに対する多様なプロンプトに対して耐性を持つようにモデルを強化する非教師あり手法を開発すること。
• パラメータ効率の良い微調整とチェックポイント選択を用いて、非教師あり微調整中のカオス的忘却やモデル崩壊を軽減すること。
• 最小限のデータと計算リソースで、多様なNLPタスクに実用的かつスケーラブルに適用可能な手法の実現を示すこと。

提案手法

• 本手法は、同じ入力に対して複数の同義的プロンプトを用いた予測の一貫性を正則化するペairワイズ蒸留損失を導入する。
• ラベルなし入力を用いて、多様なプロンプトバリアント間の一貫性を強制する完全に非教師ありの訓練目的であるスウォーム蒸留を採用する。
• パラメータ効率の良い微調整（例：LoRA）を用いて、パラメータのわずかなサブセットのみを更新することで、カオス的忘却のリスクを低減する。
• 均一な予測行動への崩壊を回避するため、FleissのKappaに基づく非教師あり基準を用いてモデルのチェックポイントを選択する。
• 本手法は、ラベルなしデータを用いた訓練時および、ラベルなしのテスト入力に対してテスト時微調整を実行する推論時にも適用可能である。
• 既存の事前学習モデルと互換性があり、マスク言語モデルや少数ショット学習などの他の目的と組み合わせて使用可能である。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータを一切使用せずに、プロンプト一貫性正則化が事前学習済み言語モデルのゼロショット一般化を向上させられるか？
• RQ2 提案されたスウォーム蒸留手法は、多様なプロンプトバリアントに対してモデルの耐性を向上させるのにどの程度効果的か？
• RQ3 顕著な性能向上を得るために必要な最小限のラベルなしデータ量はどの程度か？
• RQ4 テスト時のみのラベルなし例を用いて、本手法を推論時に効果的に適用できるか？
• RQ5 T0などの最先端のゼロショット学習者と比較して、本手法は多様なNLPタスクでどの程度優れているか？

主な発見

• 提案されたスウォーム蒸留手法は、4つのNLPタスクにまたがる11のデータセットのうち9つで、最先端のゼロショット学習者T0を上回り、正解率の向上が最大10.6ポイントに達した。
• わずか10個のラベルなし例でも顕著な向上が得られ、データおよび計算コストが非常に低いことを示している。
• ラベルなしデータ量の増加に伴い性能が急速に飽和するため、本手法はデータ集約的ではなく、効率的にスケーリング可能であることが示された。
• テスト時に入力に対して直接微調整を実行しても、強力な性能を維持でき、効果的なテスト時適応が可能であることが確認された。
• 11Bパラメータのモデルにスケーリングすることで性能がさらに向上し、評価された4つのデータセットすべてで11BパラメータのT0モデルを上回った。
• 本手法はプロンプトの変化に対して頑健であり、プロンプトの表現に依存する感度が低下し、一般化性能と一貫性の向上が示された。