[论文解读] Meta Prompting for AI Systems

Yifan Zhang, Yuan, Yang+1 more|arXiv (Cornell University)|Nov 20, 2023

Topic Modeling被引用 5

一句话总结

本文提出了元提示（Meta Prompting, MP），一种新颖的框架，通过利用范畴论和类型论，将大语言模型（LLM）中的推理从以内容为中心转变为以结构和语法驱动。该框架支持递归、自指的提示生成，并在求解24点谜题任务中实现了100%的成功率，且效率极高，优于传统的 few-shot 和思维链（chain-of-thought）方法。

ABSTRACT

We introduce Meta Prompting (MP), a framework that elevates the reasoning capabilities of large language models (LLMs) by focusing on the formal structure of a task rather than content-specific examples. We establish a theoretical foundation for this paradigm, formalizing MP as a functor that maps a category of tasks to a category of structured prompts, thereby guaranteeing that compositional problem-solving strategies can be systematically decomposed into modular prompt structures. We extend this concept to Recursive Meta Prompting (RMP), an automated process where an LLM can generate and refine its own prompts. We model this self-improvement loop formally as a monad, providing a principled framework for automated prompt engineering. Our claims are validated through extensive experiments demonstrating that a Qwen-72B base model, guided by a single, example-agnostic meta-prompt, achieves state-of-the-art results on MATH, GSM8K, and Game of 24. These results are achieved with substantial token efficiency gains over traditional few-shot methods. Project Page: https://github.com/meta-prompting/meta-prompting.

研究动机与目标

• 通过超越以内容为导向的提示方法，解决大语言模型在执行深度、系统性推理方面的局限性。
• 通过引入一种形式化、结构导向的推理框架，克服自回归标记预测的固有约束。
• 利用函子性和组合性质，使大语言模型能够通过类似元编程的递归过程，自主生成并优化提示。
• 将元提示框架扩展至多模态基础模型，以统一、结构化的方式处理图像、音频和视频等多样化数据类型。
• 通过实证验证，展示元提示在复杂推理任务中的实际优越性，特别是在高风险、多步骤问题中的表现。

提出的方法

• 利用范畴论和类型论形式化元提示（MP），建立问题与其对应提示之间的函子关系。
• 提出用于复杂推理的元提示（MP-CR），通过语法和范畴抽象将复杂问题分解为结构化的子问题。
• 实现用于提示任务的元提示（MP-PT），使大语言模型能够利用自身内部结构递归生成新提示，类似于元编程。
• 设计一种类型化、语法导向的提示框架，支持自然语言、编程语言及多模态输入的集成。
• 利用自函子和单子性质，实现迭代的、自指的推理，支持自主适应与改进。
• 通过定义异质数据类型与其对应推理模板之间的结构化映射，将MP集成至多模态场景中。

实验结果

研究问题

• RQ1 如何通过强调结构和语法模式，而非内容，来增强大语言模型的推理能力，超越基于内容的提示方法？
• RQ2 大语言模型在多大程度上能够通过类似元编程的递归、自指机制，自主生成和优化提示？
• RQ3 与链式思维（Chain-of-Thought）等现有方法相比，范畴论框架是否能提升复杂推理任务的一致性、效率和准确性？
• RQ4 元提示如何推广至多模态基础模型，以统一文本、视觉、音频和视频的推理？
• RQ5 MP-CR在真实世界推理基准中的实证性能如何，特别是在需要高精度和低标记成本的任务中？

主要发现

• MP-CR智能体在全部100%的24点谜题实例中均实现了100%的成功率，优于基线方法。
• 使用OpenAI助手API时，每个24点样本的平均处理时间仅为0.08秒，展现出极高的效率。
• 元提示通过将问题结构化分解为更简单、可重用的子问题，显著减少了标记消耗。
• 递归的MP-PT机制使大语言模型能够自主生成新的、高效的提示，展示了迈向自改进人工智能系统的重要飞跃。
• 实证结果表明，由于其形式化、语法驱动的结构，MP-CR使得不同推理方法之间的比较更加公平且系统化。
• 元提示在多模态场景中的集成，展示了其通过统一的范畴框架，统一处理多样化数据类型推理的潜力。