[論文レビュー] Reprompting: Automated Chain-of-Thought Prompt Inference Through Gibbs Sampling

Weijia Xu, Andrzej Banburski-Fahey+1 more|arXiv (Cornell University)|May 17, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

Reprompting は、人間の介入なしに、少量の事例に対する高精度な Chain-of-Thought (CoT) プロンプトを自動的かつ反復的に発見するための、反復的ギブスサンプリングアルゴリズムである。強力なモデルを用いて初期の CoT 解答を生成し、自己再プロンプト化を通じて反復的に改善することで、Big-Bench Hard タスクにおいて、人間が作成した CoT ベースラインより最大 +17 点の精度向上を達成した。

ABSTRACT

We introduce Reprompting, an iterative sampling algorithm that automatically learns the Chain-of-Thought (CoT) recipes for a given task without human intervention. Through Gibbs sampling, Reprompting infers the CoT recipes that work consistently well for a set of training samples by iteratively sampling new recipes using previously sampled recipes as parent prompts to solve other training problems. We conduct extensive experiments on 20 challenging reasoning tasks. Results show that Reprompting outperforms human-written CoT prompts substantially by +9.4 points on average. It also achieves consistently better performance than the state-of-the-art prompt optimization and decoding algorithms.

研究の動機と目的

• 人間が作成した Chain-of-Thought (CoT) プロンプトのスケーラビリティと一般化性能の限界を是正すること。これは、専門家の作業を要し、モデル固有であるためである。
• 少数のラベル付き質問-回答ペアのみを用いて、特定のモデル向けに効果的な CoT プロンプトを自動的に発見する手法を開発すること。
• 特定のターゲットモデルに最適化された CoT プロンプトを用いることで、強力な LLM から弱い LLM への知識の転送を可能にすること。
• 一様なプロンプトを用いるのではなく、モデル固有の CoT レシピを特定することで、より公平なモデル比較を実現すること。
• ギブスサンプリングを用いた反復的かつ自己改善型のプロンプト生成により、少量事例推論性能を向上させること。

提案手法

• Reprompting は、推論レシピの連合分布として CoT プロンプト発見を定式化するが、これは直接計算が困難である。
• 反復的に新しい CoT レシピをサンプリングするためにギブスサンプリングを用い、以前に生成された解答を親プロンプトとして他のトレーニング例を解くために利用する。
• 初期のレシピはゼロショットプロンプトによって生成され、その後、異なるトレーニング例を用いて複数ラウンドの自己再プロンプト化によって洗練される。
• 多様なトレーニング問題からの解答を統合することで、テスト例に対しても一般化可能な高精度なプロンプト集合が得られる。
• 強い LLM（例：ChatGPT）を用いて初期の CoT 解答を生成し、弱い LLM（例：InstructGPT）を用いてそれらを精錬するという、モデルの組み合わせをサポートする。
• このプロセスは、安定した CoT レシピの集合に収束し、トレーニング問題を一貫して解けるとともに、未観測のテスト例に対しても一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 反復的自己再プロンプト化によるギブスサンプリングを用いることで、人間の介入なしに多段階推論タスク向けに効果的な Chain-of-Thought プロンプトを発見できるか？
• RQ2 ギブスサンプリングによる反復的自己再プロンプト化は、ゼロショットまたは人間が作成したプロンプトと比較して、CoT プロンプトの質をどのように向上させるか？
• RQ3 弱い LLM は、強い LLM が生成した CoT プロンプトを Reprompting を用いてどれほど活用できるか？
• RQ4 CoT プロンプトの性能は、ターゲット LLM に強く依存しており、モデル固有の最適化が不可欠であるとされるか？
• RQ5 ベンチマーク推論タスクにおいて、Reprompting は最先端の、人間が作成した CoT プロンプトを上回る性能を示せるか？

主な発見

• Reprompting は Big-Bench Hard タスクにおいて、人間が作成した CoT ベースラインより最大 +17.0 点の精度向上を達成した。
• 5 つの BBH タスクにおいて、Reprompting は ChatGPT および InstructGPT の両方において、ゼロショット、少量化、人間が作成した CoT ベースラインを常に上回った。
• ChatGPT を用いて初期の CoT 解答を生成し、その後 InstructGPT を用いて再プロンプト化することで、InstructGPT 単体を使用した場合と比較して最大 +71.0 の性能向上が得られた。
• 特定のタスクにおいて、CoT プロンプトを自分自身のための最適化した InstructGPT は、ChatGPT をも上回る性能を示した。これは、モデル固有のプロンプト感受性を示している。
• あるモデルで効果的だった CoT レシピが、別のモデルでは失敗することがあることから、モデル固有のプロンプト最適化の必要性が明確になった。
• Reprompting はわずかなトレーニング例から高品質な CoT レシピを生成でき、推論の遅延を増すことなく、強力な少量事例一般化を実現した。