[論文レビュー] Demystifying Prompts in Language Models via Perplexity Estimation

Hila Gonen, Srini Iyer+3 more|arXiv (Cornell University)|Dec 8, 2022

Topic Modeling被引用数 10

ひとこと要約

本論文では、言語モデルの熟語度を推定する perplexity を代理指標として用い、熟語度が低いプロンプトを選択することで少サンプルプロンプティングの性能を向上させる SPELL（Selecting Prompts by Estimating LM Likelihood）を提案する。自動的 paraphrasing と perplexity 推定を用いることで、ラベルを必要とせずに手動プロンプトを上回る平均正解率 1.8–3.6 ポints の向上を達成し、さまざまなタスクおよびモデルにおいて、低い perplexity を示すプロンプトがより優れた性能を示すことが強く相関していることを示した。

ABSTRACT

Language models can be prompted to perform a wide variety of zero- and few-shot learning problems. However, performance varies significantly with the choice of prompt, and we do not yet understand why this happens or how to pick the best prompts. In this work, we analyze the factors that contribute to this variance and establish a new empirical hypothesis: the performance of a prompt is coupled with the extent to which the model is familiar with the language it contains. Over a wide range of tasks, we show that the lower the perplexity of the prompt is, the better the prompt is able to perform the task. As a result, we devise a method for creating prompts: (1) automatically extend a small seed set of manually written prompts by paraphrasing using GPT3 and backtranslation and (2) choose the lowest perplexity prompts to get significant gains in performance.

研究の動機と目的

• ゼロショットおよび少サンプルプロンプティングにおいて、表面的な形が類似しているにもかかわらず、一部のプロンプトが他よりも優れた性能を示す理由を理解すること。
• プロンプトに対するモデルの熟語度（perplexity を用いて測定）が、下流タスクの性能と相関するかどうかを調査すること。
• タスク固有のラベルを必要とせず、モデルに依存しない方法で、新しいタスク向けの高パフォーマンスなプロンプトを生成する手法を開発すること。
• 低 perplexity プロンプトが、さまざまなタスクおよびモデルアーキテクチャにおいて、より安定的かつ高い正解率を達成することを検証すること。

提案手法

• GPT-3 を用いて、手動で作成された初期プロンプトを自動的に拡張し、paraphrasing およびバックトランスレーションを用いて多様性のある多数の候補プロンプトのプールを生成する。
• ターゲット言語モデルを用いて、各候補プロンプトの perplexity を推定し、モデルがそのプロンプトに対してどれほどなじみがあるかを測定する。
• perplexity が最小の k 個のプロンプトを選択し、推論用の最終プロンプトセットとする。
• 選択された低 perplexity プロンプトを用いて、タスク固有のラベルを必要とせずに、下流タスクにおける少サンプルプロンプティングを実行する。
• 複数のタスクおよびモデル（例：OPT-175B、Bloom）における性能を評価し、本手法の汎用性と頑健性を検証する。
• 低 perplexity プロンプトの性能を、手動でカスタマイズされたプロンプトと比較し、向上度および安定性を定量的に評価する。

Figure 1: Accuracy vs. perplexity for the AG News dataset with OPT 175b. The $x$ axis is in log scale. Each point stands for a different prompt.

実験結果

リサーチクエスチョン

• RQ1 プロンプトの perplexity は、下流タスクにおける性能と相関するか？
• RQ2 事前学習データにアクセスできない状況でも、perplexity がモデルがプロンプトに対してどれほどなじみがあるかを信頼できる指標として機能するか？
• RQ3 低 perplexity に基づくプロンプト選択が、多様なタスクおよびモデルアーキテクチャにおいて一貫した性能向上をもたらすか？
• RQ4 低 perplexity プロンプトの性能は、手動で設計されたプロンプトと比較して、正解率および分散の観点でどのように異なるか？

主な発見

• プロンプトの perplexity とタスク性能の間には強い負の相関が存在し、さまざまなタスクおよびモデルにおいて、低い perplexity であるほど一貫して高い正解率が予測される。
• 拡張されたプロンプト集合から perplexity が最も低い 3 つのプロンプトを使用したところ、OPT-175B では手動プロンプトを 1.8 ポイント、Bloom では 3.6 ポイント上回る平均正解率を達成した。
• 低 perplexity プロンプトの性能は著しく安定しており、標準偏差が低く抑えられており（OPT-175B では 5.07 対 6.86、Bloom では 1.31 対 5.15）、手動で作成されたプロンプトよりも優れた安定性を示した。
• ラベルがターゲットタスクに一切不要なため、非専門家ユーザーにとっても実用的な SPELL の手法により、顕著な性能向上が達成された。
• 最適なプロンプトセットはモデルによって異なるため、プロンプト性能はモデル固有であり、アーキテクチャ間で一般化できないことが示された。

(a)