[論文レビュー] Prompt Space Optimizing Few-shot Reasoning Success with Large Language Models

Fobo Shi, Peijun Qing+6 more|arXiv (Cornell University)|Jun 6, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

この論文では、質問の埋め込みの行列分解を用いて、大規模言語モデルにおける少数ショット推論の最適プロンプト空間を構築する新しい手法であるPrompt Spaceを提案する。SVDおよびPCAを用いて基本となる質問を同定することで、手動によるプロンプト設計に依存せずに、効果的な推論のデモを自動生成する。10の公開された推論ベンチマークにおいて、Chain-of-Thoughtを含む最先端の手法を上回り、'Let’s think step by step'プロンプトを用いない場合でも優れた性能を発揮する。

ABSTRACT

Prompt engineering is an essential technique for enhancing the abilities of large language models (LLMs) by providing explicit and specific instructions. It enables LLMs to excel in various tasks, such as arithmetic reasoning, question answering, summarization, relation extraction, machine translation, and sentiment analysis. Researchers have been actively exploring different prompt engineering strategies, such as Chain of Thought (CoT), Zero-CoT, and In-context learning. However, an unresolved problem arises from the fact that current approaches lack a solid mathematical solution for determining optimal prompts. To address this issue in prompt engineering, we propose a new and effective approach called Prompt Space. Our methodology utilizes text embeddings to obtain basis vectors by matrix decomposition, and then constructs a space for representing all prompts. Prompt Space significantly outperforms state-of-the-art prompt paradigms on ten public reasoning benchmarks. Notably, without the help of the CoT method and the prompt "Let's think step by step", Prompt Space shows superior performance over the few-shot method. Overall, our approach provides a robust and effective mathematical framework for selecting simple and effective prompts. This advancement marks a significant step towards improving prompt engineering for a wide variety of applications in LLMs. Our code is publicly available at extcolor{blue}{\url{https://github.com/YouBLEI/Prompt-Space}}

研究の動機と目的

• 大規模言語モデルを用いた少数ショット推論における最適プロンプトの選定に理論的基盤が欠如しているという問題に対処すること。
• 手動によるプロンプト設計に依存せずに、効果的な推論デモの構築を自動化すること。
• 推論性能を最大化するための代表的質問の最適な数と選定方法を特定すること。
• ベクトル空間幾何学に基づいた、強固で一般化可能なプロンプト選択フレームワークを確立すること。
• 'Let’s think step by step'プロンプトやCoT形式の連鎖を必要とせずに、少数ショット推論の性能を向上させること。

提案手法

• 事前学習済みのテキストエンコーダーを用いて、推論データセットに含まれるすべての質問を密なベクトル表現に埋め込む。
• 質問埋め込み行列に対して特異値分解（SVD）および主成分分析（PCA）を適用し、k個の基本ベクトルを抽出する。
• 基本ベクトルに対応する上位k個の質問を選別し、コアとなるプロンプト例示を構成する。
• 各テスト質問を選択された基本質問とペairedし、推論デモを生成するプロンプト空間を構築する。
• 構築された例示を用いてゼロショット-CoTプロンプティングを実行し、LLMが段階的推論を遂げるのを支援する。
• 性能と効率のバランスを最適化するため、基本質問の数（k）をアブレーションスタディを通じて最適化する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルにおける少数ショット推論性能を最大化する最適な例示質問の集合は何か？
• RQ2 基本質問の数（k）は、異なるベンチマークにおいて推論精度にどのように影響を与えるか？
• RQ3 理論的根拠に基づいた、埋め込みを用いた手法は、Chain-of-Thoughtのようなヒューリスティックなプロンプト設計戦略を上回れるか？
• RQ4 Prompt Spaceは、'Let’s think step by step'プロンプトに依存せずに、どの程度推論性能を向上させられるか？
• RQ5 質問埋め込み空間の幾何的性質は、推論モデルの性能とどのように関連しているか？

主な発見

• Prompt Spaceは、10の公開推論ベンチマークにおいて、Chain-of-ThoughtやZero-Shot-CoTを含む最先端のプロンプトパラダイムを顕著に上回る性能を発揮する。
• この手法は、'Let’s think step by step'プロンプトを用いない場合でも優れた性能を発揮し、その内在的有効性を示している。
• 最適な基本質問の数（k）はタスクによって異なるが、アブレーションスタディにより、あるk値を超えると性能が頭打ちになることが判明し、リターンの逓減が確認された。
• SVDおよびPCAにより選別された基本質問は、非常に代表性が高く、データセット内の本質的な推論パターンを捉えている。
• このアプローチは、ベクトル空間の分解に基づいた理論的フレームワークを提示し、ヒューリスティックなプロンプト提示の代替手段としての原理的妥当性を提供する。
• この手法は、算術、常識的推論、論理的問題を含む多様な推論タスクに、良好に一般化する。