[論文レビュー] OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning

Jiazheng Li, Runcong Zhao+3 more|arXiv (Cornell University)|May 24, 2023

Artificial Intelligence in Healthcare and Education被引用数 4

ひとこと要約

OverPromptは、複数の入力を1回のLLM推論呼び出しにバッチ処理することで、コスト効率の高いゼロショットプロンプティング戦略を提案する。これにより、トークンコストと時間コストが削減されるとともに、文脈学習を通じて性能が向上する。タスクの説明を再利用し、グループ化された入力に対して一般化能力を活用することで、OverPromptは、特にセンチメント分析と事実確認の分野で、推論コストを低減し、精度を向上させる。

ABSTRACT

The remarkable performance of pre-trained large language models has revolutionised various natural language processing applications. Due to huge parametersizes and extensive running costs, companies or organisations tend to transfer the models to the target task by zero-shot prompting techniques. However, the prohibitive costs of tokens and time have hindered their adoption in applications. We propose OverPrompt, leveraging the in-context learning capability of LLMs to handle multiple task inputs, thereby reducing token and time costs. This approach could potentially improve task performance during API queries due to better conditional distribution mapping. Evaluated across diverse classification datasets, our experiments show that OverPrompt can achieve cost-efficient zero-shot classification without causing significant detriment to task performance, and in some cases, even improving it. An ablation study conducted on various LLMs, along with an investigation into the robustness of our prompting strategy to different input ordering, offers valuable insights into the broader applicability of our method across diverse tasks. These findings also suggest a more seamless integration of our method with LLMs through an API.

研究の動機と目的

• API経由での大規模言語モデル（LLM）のゼロショット分類における高いトークンコストと時間コストを低減すること。
• 複数のラベルなし入力を1つのプロンプトにバッチ処理することで、文脈学習を通じてタスクの性能が向上するかどうかを調査すること。
• 再利用するタスク説明の繰り返しを最小限に抑えつつ、予測精度を維持または向上させるプロンプティング戦略を設計すること。
• 異なるLLMと入力順序の設定に対して、この手法の頑健性を評価すること。
• コスト効率の良いプロンプティングを通じて、生産環境におけるLLMのより効率的かつスケーラブルな展開を可能にすること。

提案手法

• OverPromptは、複数のラベルなし入力インスタンスを1つのプロンプトにグループ化し、タスク説明を一度だけ再利用することで、トークン消費を削減する。
• この手法は、LLMの文脈学習（ICL）機能を活用し、複数の入力からの文脈的情報を提供することで、条件付き分布のマッピングを改善する。
• ベイジアン推論フレームワークを用いて、複数の入力を組み込むことで分布の近似が向上し、フォーマットエラーが減少することを理論的に正当化する。
• 冗長性を最小限に抑えるようにプロンプトテンプレートを設計し、タスク説明を一度だけ記述し、複数の入力を一貫した形式で提示することで、モデルの一般化能力を向上させる。
• 出力フォーマットを変更してエラー率を低下させ、特に明確なカテゴリ境界を持つタスクでの一貫性を向上させる。
• GPT-3.5-turboとGPT-4を用いて、10の多様なテキスト分類データセットで評価を行い、入力順序とモデルバリアントに関するアブレーションスタディを実施。

Figure 1: This illustration highlights the difference between traditional zero-shot classification prompting strategy and our OverPrompt. Deploying LLMs requires significant computational resources, so abandoning API queries is not practical. Our OverPrompt strategy prioritizes cost efficiency while

実験結果

リサーチクエスチョン

• RQ1 複数のラベルなし入力を1つのプロンプトにバッチ処理することで、ゼロショットLLM推論におけるトークンコストと時間コストを削減できるか？
• RQ2 複数の入力からの文脈的情報を提供することで、ゼロショット分類におけるモデルの予測精度が向上するか？
• RQ3 OverPromptの性能は、入力順序の変化や異なるLLMアーキテクチャに対してどれほど頑健か？
• RQ4 どのような種類の分類タスクでOverPromptが性能向上をもたらし、その理由は何か？
• RQ5 OverPromptは、モデルの信頼性を損なわせることなく、APIベースのLLMワークフローに効果的に統合できるか？

主な発見

• OverPromptは、1回のAPI呼び出しで複数の入力に対してタスク説明を再利用することで、トークンコストと時間コストを顕著に削減する。
• 特にセンチメント分析と事実確認の分野で、いくつかのデータセットにおいて分類性能が向上し、文脈的な比較が意思決定を支援することが明らかになった。
• gpt-3.5-turboとgpt-4モデルで性能向上が顕著に現れ、これらのモデルの文脈学習メカニズムと強い整合性を示している。
• 入力順序の変更に対しても頑健で、異なる入力シーケンスにおいても性能低下が最小限に抑えられており、実世界の展開における安定性を示している。
• アブレーションスタディの結果、入力長が長い場合でも戦略の有効性が確認されたが、極めて長い入力ではコンテキスト長の制限により性能が低下する可能性がある。
• 冗長なAPI呼び出しとトークン使用を最小限に抑えることで、LLM推論の炭素足跡を低減できる。

Figure 2: Illustration of ChatGPT struggling with similar sentences when input individually. Employing the OverPrompt strategy and cohesively grouping synthetic data from the "VitaminC" dataset may improve the performance of zero-shot inference.