[论文解读] LangGPT: Rethinking Structured Reusable Prompt Design Framework for LLMs from the Programming Language

Ming Wang, Yuanzhong Liu+12 more|arXiv (Cornell University)|Feb 26, 2024

Software Testing and Debugging Techniques被引用 4

一句话总结

LangGPT 提出了一种双层、受编程语言启发的框架，用于大语言模型中的结构化、可重用提示设计，使非AI专家能够通过系统化、可扩展的模板创建高质量提示。实验表明，LangGPT 在生成多种任务的优质响应方面优于 Instruction-only 和 CRISPE 等基线模型，用户调查也证实其具有高度的易用性和可重用性。

ABSTRACT

LLMs have demonstrated commendable performance across diverse domains. Nevertheless, formulating high-quality prompts to instruct LLMs proficiently poses a challenge for non-AI experts. Existing research in prompt engineering suggests somewhat scattered optimization principles and designs empirically dependent prompt optimizers. Unfortunately, these endeavors lack a structured design template, incurring high learning costs and resulting in low reusability. In addition, it is not conducive to the iterative updating of prompts. Inspired by structured reusable programming languages, we propose LangGPT, a dual-layer prompt design framework as the programming language for LLMs. LangGPT has an easy-to-learn normative structure and provides an extended structure for migration and reuse. Experiments illustrate that LangGPT significantly enhances the performance of LLMs. Moreover, the case study shows that LangGPT leads LLMs to generate higher-quality responses. Furthermore, we analyzed the ease of use and reusability of LangGPT through a user survey in our online community.

研究动机与目标

• 解决大语言模型应用中非AI专家在提示工程方面缺乏系统化、可重用提示设计的问题。
• 通过结构化框架降低学习成本，并提升高质量提示的可重用性。
• 使大语言模型能够利用所提出的框架自动生成高质量提示。
• 通过基于社区的用户调查评估该框架的可用性与可重用性。

提出的方法

• 设计一种受面向对象编程启发的双层提示结构，包含规范化的基础层和可扩展的自定义层。
• 为提示组件定义形式化的语法与语义规则，实现提示的系统化构建与重用。
• 将框架集成至社区平台，以支持协作式提示共享与教学。
• 利用大语言模型在 LangGPT 框架下生成提示，通过结构化约束提升安全性和质量。
• 应用束搜索和类似梯度的编辑技术，在 LangGPT 框架内优化提示。
• 在写作和角色扮演场景中，通过受控实验对比 LangGPT 与 Instruction-only 和 CRISPE 基线模型。

实验结果

研究问题

• RQ1 结构化、可重用的提示框架能否降低非AI专家在提示工程中的学习门槛？
• RQ2 LangGPT 在生成高质量大语言模型响应方面，与现有提示设计方法（如 CRISPE、instruction-only）相比表现如何？
• RQ3 LangGPT 在多大程度上能够引导大语言模型自主生成高质量、安全且上下文恰当的提示？
• RQ4 LangGPT 在社区中的采纳情况在多大程度上反映了其在真实场景中的易用性与可重用性？

主要发现

• 在角色扮演场景中，LangGPT 在生成高质量响应方面显著优于 Instruction-only 和 CRISPE 提示，Gemini Pro 模型下的平均得分分别为 4.20 和 4.43。
• 在写作场景中，LangGPT 在内容丰富度上平均得分为 4.20，在文本连贯性上得分为 4.30，优于多种大语言模型的基线表现。
• 87.81% 的社区用户在五分制评分中对 LangGPT 的易用性打分达到 3 分或以上，整体满意度得分为 8.48（满分 10 分）。
• LangGPT 有效引导大语言模型生成无害、高质量的提示，即使在 MBTI 评估等敏感话题上，直接提示常被拒绝，LangGPT 仍能成功生成。
• LangGPT 使大语言模型在角色扮演中保持角色一致性与深度，例如在‘boot-licker’人格设定中，其表达力与相关性优于基线模型。
• 该框架在多种大语言模型（包括 GPT-3.5、Qwen、Yi 和 Baichuan2）上表现出鲁棒性，涵盖指令遵循与创意生成任务。