[论文解读] AutoScrum: Automating Project Planning Using Large Language Models

Martin Schröder|arXiv (Cornell University)|Jun 5, 2023

Software Engineering Research被引用 7

一句话总结

本文介绍了 AutoScrum，一种利用大型语言模型（LLM）如 GPT-3.5-turbo 与 Guidance 语言结合的框架，通过两种方法实现敏捷项目规划的自动化：一种是结构化的 Scrum 基础流程，另一种是快捷的迭代规划方法。结果表明，LLM 能够在极少人工干预的情况下，自主从当前状态到目标状态生成连贯、目标导向的项目计划。

ABSTRACT

Recent advancements in the field of large language models have made it possible to use language models for advanced reasoning. In this paper we leverage this ability for designing complex project plans based only on knowing the current state and the desired state. Two approaches are demonstrated - a scrum based approach and a shortcut plan approach. The scrum based approach executes an automated process of requirements gathering, user story mapping, feature identification, task decomposition and finally generates questions and search terms for seeking out domain specific information to assist with task completion. The shortcut approach looks at most recent snapshot of the current and desired state and generates the next most reasonable task to do in order to get to the desired state as quickly as possible. In this paper we automate everything using a novel concept of "Language Programs". These are programs written in natural language designed to process input data through the language model. Guidance language is used for all LLM programs. All demo source code for this paper is available at https://github.com/autoscrum/autoscrum

研究动机与目标

• 利用大型语言模型自动化敏捷环境中的端到端项目规划。
• 解决 Scrum 方法论中手动项目规划存在的高认知负荷和低效问题。
• 探究 LLM 是否能够从定义的当前状态和目标状态自主生成真实、目标导向的任务序列。
• 评估两种不同规划策略的有效性：结构化的 Scrum 流程和迭代快捷规划。
• 证明在结构化提示和程序化控制的引导下，LLM 能够生成连贯、可执行的项目计划，且无需人工干预。

提出的方法

• 该框架使用‘语言程序’——通过 Guidance 库执行的自然语言脚本，以结构化提示控制 LLM 的行为。
• 基于 Scrum 的方法自动化了需求收集、用户故事映射、功能识别、任务分解和信息查询。
• 快捷方法通过迭代式 LLM 推理，基于当前和目标状态生成最合理的下一步任务，模拟一种贪心路径查找策略。
• 使用温度超参数（0–0.1）以确保输出的确定性和专注性；同时测试了较高温度（1.2）以评估其敏感性。
• 所有 LLM 交互均基于固定提示结构，包含明确的角色定义、任务跟踪和状态报告。
• 完整源代码已通过 Microsoft Guidance 语法发布在 GitHub 上，支持可复现性，并可与开源及专有 LLM 集成。

实验结果

研究问题

• RQ1 大型语言模型是否仅凭当前状态和目标状态就能自主生成完整的项目计划？
• RQ2 结构化的 Scrum 基础工作流在引导 LLM 生成连贯、可执行项目计划方面的有效性如何？
• RQ3 迭代快捷规划方法在速度和目标对齐方面是否优于传统规划方法？
• RQ4 温度设置如何影响生成项目计划的质量和连贯性？
• RQ5 LLM 在敏捷软件开发场景中，能在多大程度上模拟人类的推理与规划过程？

主要发现

• 基于 Scrum 的方法成功为一个养鸡场目标生成了完整的项目计划，包括需求、用户故事、任务分解和信息查询。
• 快捷方法生成了连贯、目标导向的任务序列，从当前状态逐步推进至目标状态，偏差极小。
• 较低温度设置（0–0.1）产生了更确定、更专注的任务序列，而较高温度（1.2）则导致更激进但不稳定的规划路径。
• 该框架证明，即使使用 GPT-3.5-turbo，LLM 在结构化提示下也能模拟多步推理与规划。
• 使用 Guidance 语言实现了对 LLM 行为的可靠程序化控制，支持可重复、可审计的规划工作流。
• 完整源代码和示例计划已公开，支持框架的复现与扩展。