[論文レビュー] Learning To Retrieve Prompts for In-Context Learning

Ohad Rubin, Jonathan Herzig+1 more|arXiv (Cornell University)|Dec 16, 2021

Topic Modeling被引用数 10

ひとこと要約

本稿では、正解出力を生成する可能性の高さに基づき、良いプロンプトまたは悪いプロンプトとしてのトレーニング例をラベルづけるために言語モデルをスコア関数として用いるEPR（Efficient Prompt Retrieval）を提案する。その後、これらのラベルに基づき対照学習を用いて密度型リトリーバーを訓練し、3つのシーケンス・ツー・シーケンスタスクにおいて、事前ベースライン比でBreakで最大7.7%、MTopで最大7.2%の向上を達成した。

ABSTRACT

In-context learning is a recent paradigm in natural language understanding, where a large pre-trained language model (LM) observes a test instance and a few training examples as its input, and directly decodes the output without any update to its parameters. However, performance has been shown to strongly depend on the selected training examples (termed prompt). In this work, we propose an efficient method for retrieving prompts for in-context learning using annotated data and a LM. Given an input-output pair, we estimate the probability of the output given the input and a candidate training example as the prompt, and label training examples as positive or negative based on this probability. We then train an efficient dense retriever from this data, which is used to retrieve training examples as prompts at test time. We evaluate our approach on three sequence-to-sequence tasks where language utterances are mapped to meaning representations, and find that it substantially outperforms prior work and multiple baselines across the board.

研究の動機と目的

• 少数ショット学習例（プロンプト）の選択に強く依存する、文脈内学習性能の重大な課題に対処すること。
• モデルパラメーターやファインチューニングにアクセスできない状況でも、高品質なプロンプトを検索する方法を構築すること。
• 言語モデルが生成する監視信号を用いて、軽量で効率的な密度型リトリーバーを訓練し、プロンプト選択を最適化すること。
• 特にモデル重みが利用できない（例：APIオンative利用）状況でも、大規模言語モデルと効果的に連携できる仕組みを提供すること。
• 意味解析やタスク指向対話など、構造的でシーケンス・ツー・シーケンスのタスクにおけるパフォーマンス向上を図ること。

提案手法

• 各トレーニング例（x, y）に対して、非教師的リトリーバーを用いてトレーニングセットから候補プロンプトを検索する。
• スコアリング用言語モデルが、各候補プロンプトについてP(y|x, prompt)を推定し、入力xとプロンプトが与えられたもとでの正解出力yの尤度を測定する。
• P(y|x, prompt)が高いプロンプトはポジティブとラベルづけされ、低いものはネガティブとラベルづけられる。
• ラベル付きデータ上で対照学習の目的関数を用いて、テスト時における高品質プロンプトの検索を学習する密度型リトリーバーを訓練する。
• スコアリング用LMは推論用LMよりも小さくてもよく、効率的なデータ生成が可能になる。あるいは、同一のものであっても、APIベースのデプロイメントをサポートできる。
• 最終的なリトリーバーは推論時、テスト入力に対して最も関連性の高いトレーニング例をプロンプトとして検索するために使用される。

実験結果

リサーチクエスチョン

• RQ1 言語モデルを代理として用いることで、文脈内学習におけるプロンプトリトリーバーの訓練に高品質な監視信号を生成できるか？
• RQ2 言語モデルが生成するプロンプト品質のラベルを用いることで、表面的類似性ヒューリスティクスに比べて、より優れた検索パフォーマンスが得られるか？
• RQ3 LMに監視されたデータで訓練された軽量リトリーバーは、下流のシーケンス・ツー・シーケンスタスクでベースラインを上回る性能を示せるか？
• RQ4 スコアリングLMが推論LMよりも小さい場合、あるいは同一（例：GPT-3）の場合、この手法はどの程度効果的か？
• RQ5 推論時、リトリーバーは高ランクプロンプトにどれほど依存しているか。また、正確なパターンコピーを超えて一般化できるか？

主な発見

• GPT-NeoをスコアリングLMおよび推論LMとして用いた場合、Breakベンチマークにおいて文脈内学習性能が5.9ポイント向上し、正解率は26%から31.9%に上昇した。
• MTopデータセットでは、同じ設定下で7.2ポイントの向上を達成し、正解率は57%から64.2%に上昇した。
• SMCalFlowでは、正解率が51.4%から54.3%に上昇し、多様なタスクにわたり一貫した向上を示した。
• GPT-J、GPT-3、Codexといったより大きなモデルの代理としてGPT-Neoを使用しても、依然として顕著な向上を達成しており、モデルスケールにわたる頑健性を示した。
• Breakにおけるコピー距離の分布から、リトリーバーは主に高ランクプロンプトからコピーしていることが示され、意味的に関連する例の効果的な検索が行われていることが裏付けられた。
• 正確なコピーがない場合でも、モデルは新しい構造に一般化しており、リトリーバーが記憶に依存するのではなく、意味的な文脈内学習を支援していることが示された。