[論文レビュー] Meta Prompting for AI Systems

Yifan Zhang, Yuan, Yang+1 more|arXiv (Cornell University)|Nov 20, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、圏論と型理論を活用することで、言語モデル（LLM）の推論をコンテンツ中心から構造的・構文的駆動にシフトさせる、新しいフレームワークであるメタプロンプティング（MP）を紹介する。この手法により、再帰的かつ自己参照的なプロンプト生成が可能となり、24ゲームのパズルを100%の正確性で解くことに成功し、従来の few-shot や chain-of-thought 法を上回る効率性を示した。

ABSTRACT

We introduce Meta Prompting (MP), a framework that elevates the reasoning capabilities of large language models (LLMs) by focusing on the formal structure of a task rather than content-specific examples. We establish a theoretical foundation for this paradigm, formalizing MP as a functor that maps a category of tasks to a category of structured prompts, thereby guaranteeing that compositional problem-solving strategies can be systematically decomposed into modular prompt structures. We extend this concept to Recursive Meta Prompting (RMP), an automated process where an LLM can generate and refine its own prompts. We model this self-improvement loop formally as a monad, providing a principled framework for automated prompt engineering. Our claims are validated through extensive experiments demonstrating that a Qwen-72B base model, guided by a single, example-agnostic meta-prompt, achieves state-of-the-art results on MATH, GSM8K, and Game of 24. These results are achieved with substantial token efficiency gains over traditional few-shot methods. Project Page: https://github.com/meta-prompting/meta-prompting.

研究の動機と目的

• LLMの深い体系的推論の限界を解消するため、コンテンツに焦点を当てたプロンプティング手法を超えて進化させること。
• 自己回帰的トークン予測の本質的制約を克服するため、形式的で構造指向の推論フレームワークを導入すること。
• 関手的および合成的性質を活用して、LLMが再帰的でメタプログラミングに類似したプロセスにより、自らの内部構造を用いてプロンプトを生成・改善できるようにすること。
• 多様なデータタイプ（画像、音声、動画など）を統一的かつ構造的に扱えるように、メタプロンプティングフレームワークをマルチモーダル基盤モデルへ拡張すること。
• 特に高リスクで多段階の問題を含む実世界の複雑な推論タスクにおいて、メタプロンプティングの実用的優位性を実証的に検証すること。

提案手法

• 圏論と型理論を用いて、問題とその対応するプロンプトとの間の関手的関係を形式化することで、メタプロンプティング（MP）を定式化する。
• 複雑な問題を構文的・圈权的抽象化を用いて構造的な部分問題に分解する、複雑な推論のためのメタプロンプティング（MP-CR）を導入する。
• LLMが自らの内部構造を用いて再帰的に新しいプロンプトを生成できるようにする、プロンプトタスクのためのメタプロンプティング（MP-PT）を実装する。
• 型付きで構文指向のプロンプトフレームワークを設計し、自然言語、プログラミング言語、マルチモーダル入力との統合を可能にする。
• 自己参照的で反復的な推論を可能にするために、自己関手的およびモノイド的性質を活用し、自律的適応と改善を支援する。
• 異種のデータタイプとその対応する推論テンプレートとの間の構造的マッピングを定義することで、マルチモーダル環境におけるMPの統合を実現する。

実験結果

リサーチクエスチョン

• RQ1 構造的・構文的パターンに注目することで、コンテンツベースのプロンプティングを超えてLLMの推論をどのように向上させられるか？
• RQ2 メタプログラミングに類似した再帰的・自己参照的メカニズムにより、LLMが自らのプロンプトを自主的に生成・改善できる範囲はどの程度か？
• RQ3 圈权論的フレームワークは、Chain-of-Thoughtなどの既存手法と比較して、複雑な推論タスクの整合性・効率性・正確性をどのように向上させられるか？
• RQ4 メタプロンプティングは、テキスト・ビジョン・音声・動画を統一的に扱えるように、マルチモーダル基盤モデルに一般化可能か？
• RQ5 MP-CRの実証的パフォーマンスは、高精度と低トークンコストが求められるタスクにおいて、実世界の推論ベンチマークでどの程度の水準にあるか？

主な発見

• MP-CRエージェントは、24ゲームパズルのすべての100%のインスタンスに対して100%の成功率を達成し、ベースライン手法を上回った。
• OpenAIアシスタントAPIを用いた場合、1サンプルあたりの平均処理時間はわずか0.08秒であり、高い効率性を示した。
• メタプロンプティングにより、問題を単純化され、再利用可能な部分問題に構造的に分解することで、トークン消費量が顕著に削減された。
• 再帰的MP-PTメカニズムにより、LLMが自ら効果的な新しいプロンプトを生成でき、自己改善型AIシステムへの飛躍を示した。
• 実証的結果から、MP-CRは形式的で構文指向の構造を備えるため、推論手法間のより公平で体系的な比較を可能にした。
• マルチモーダル環境へのメタプロンプティングの統合は、共通の圈权的フレームワークを通じて、多様なデータタイプ間での推論を統一する可能性を示した。