[論文レビュー] GrIPS: Gradient-free, Edit-based Instruction Search for Prompting Large Language Models

Archiki Prasad, Peter Hase+2 more|arXiv (Cornell University)|Mar 14, 2022

Topic Modeling被引用数 5

ひとこと要約

GrIPS は、モデル勾配へのアクセスを必要とせず、人間が読み取り可能な編集操作を用いて、大規模言語モデルにおける指示プロンプトを自動で改善する勾配フリーで編集ベースの探索手法である。反復的に自然言語プロンプトを人間が読み取り可能な編集によって変更することで、分類タスクにおいて最大 9.36% の精度向上を達成し、手動での再書き換えや例ベースのプロンプトチューニングを上回る性能を示す。これは、最小限のデータや API アクセス可能なモデルに対しても有効である。

ABSTRACT

Providing natural language instructions in prompts is a useful new paradigm for improving task performance of large language models in a zero-shot setting. Recent work has aimed to improve such prompts via manual rewriting or gradient-based tuning. However, manual rewriting is time-consuming and requires subjective interpretation, while gradient-based tuning can be extremely computationally demanding for large models and may not be feasible for API-based models. In this work, we introduce Gradient-free Instructional Prompt Search (GrIPS), a gradient-free, edit-based search approach for improving task instructions for large language models. GrIPS takes in instructions designed for humans and automatically returns an improved, edited prompt, while allowing for API-based tuning. With InstructGPT models, GrIPS improves the average task performance by up to 4.30 percentage points on eight classification tasks from the Natural Instructions dataset (with similar improvements for OPT, BLOOM, and FLAN-T5). We see improvements for both instruction-only prompts and instruction + k-shot examples prompts. Notably, GrIPS outperforms manual rewriting and purely example-based prompts while controlling for the available compute and data budget. Further, performance of GrIPS is comparable to select gradient-based tuning approaches. Qualitatively, we show our edits can simplify instructions and at times make them incoherent but nonetheless improve accuracy. Our code is available at: https://github.com/archiki/GrIPS

研究の動機と目的

• 勾配ベースのプロンプトチューニングの限界、特に計算コストが高く、API アクセス可能なモデルでは実行不可能であるという点を解決すること。
• ゼロショットプロンプティングにおける手動による指示再書き換えの高コストと主観的特性を克服すること。
• モデルの勾配や重みへのアクセスを必要とせず、人間が読み取り可能な編集操作によって指示の質を向上させる手法を開発すること。
• GPT-3、OPT、BLOOM、FLAN-T5 などの多様な LLM に対して、指示のみのプロンプトおよび指示＋kショット例の両方のプロンプトにおいて、効果的なプロンプト最適化を可能にすること。
• 意味的に一貫性のない、あるいは単純化された指示でも、モデルの性能向上が可能かどうかを検証し、効果的なプロンプティングには一貫性が必要であるという仮定に疑問を呈すること。

提案手法

• GrIPS は、文法的フレーズレベルの変更を探索する探索アルゴリズムを用いて、自然言語指示に対して反復的かつ局所的な編集を実行する。
• モデル出力に基づくスコア関数を用いて候補となる指示を評価し、モデルの予測精度のみをフィードバックとして使用する。
• 勾配を一切使用せず、モデルの出力のみに依存して探索をガイドするため、API アクセス可能なモデルとも互換性がある。
• 編集はフレーズレベルの操作（例：フレーズの再配置、置換、削除）に制限され、人間が読み取りやすく、文語的整合性を保つ。
• 探索プロセスはビームサーチや類似手法を用いて有望な編集を探索し、改善が見られなくなったり、耐性（patience）が尽きたりした時点で終了する。
• 指示のみのプロンプトおよび指示＋kショット例の両方をサポートしており、柔軟なプロンプト工学が可能である。

実験結果

リサーチクエスチョン

• RQ1 勾配へのアクセスを必要とせず、人間が読み取り可能な編集操作を用いた探索手法は、大規模言語モデルの指示品質を向上させることができるか？
• RQ2 勾配フリーで人間が読み取り可能な編集操作による自動プロンプト改善は、手動での指示再書き換えや例ベースのプロンプトチューニングを上回る性能を発揮するか？
• RQ3 意味的に一貫性のない、あるいは単純化された指示でも、モデルの性能向上が可能か、たとえ人間にとってわかりにくくても？
• RQ4 タスクに依存しない初期化とタスクに特化した初期化の両方において、GrIPS の有効性はどの程度か？
• RQ5 最小限のデータ（例：20 例）と限られた計算リソースでも、GrIPS は競争力のある性能を達成できるか？

主な発見

• InstructGPT を用いた Natural-Instructions データセットの 8 つの分類タスクにおいて、GrIPS は平均して最大 9.36 パcentage ポints の精度向上を達成した。
• InstructGPT curie では、同じ計算リソースとデータ量のもとで、GrIPS は手動での再書き換えよりも平均して 1.5 パcentage ポインツ高い性能を示した。
• 同じデータと計算リソースを用いた場合、GrIPS はインラインで例を探索する手法よりも約 1.6 ポイント高い性能を発揮した。
• 探索された指示の 68.5% が元のものより短く、87.5% がタスク関連のラベル情報を含んでおり、効果的な圧縮と焦点の集中が図られていることが示唆された。
• 勾配が利用可能な場合でも、GrIPS は選択された勾配ベースのチューニング手法と同等の性能を達成しており、そのロバスト性と効率性を示している。
• 68.5% のタスクにおいて、GrIPS は元の指示よりも短い指示を返しており、性能に損なわれることなく効果的な簡略化が行われていることが示された。