[论文解读] SheetCopilot: Bringing Software Productivity to the Next Level through Large Language Models

Hongxin Li, Jingran Su+3 more|arXiv (Cornell University)|May 30, 2023

Spreadsheets and End-User Computing被引用 6

一句话总结

SheetCopilot 是一个基于大语言模型的智能体，通过自然语言指令自动化处理电子表格任务，其方法是将请求分解为原子操作，并采用基于状态机的规划框架。在包含221个真实世界电子表格任务的精选基准测试中，该系统实现了44.3%的任务成功率，显著优于基于代码生成的基线模型。

ABSTRACT

Computer end users have spent billions of hours completing daily tasks like tabular data processing and project timeline scheduling. Most of these tasks are repetitive and error-prone, yet most end users lack the skill to automate these burdensome works. With the advent of large language models (LLMs), directing software with natural language user requests become a reachable goal. In this work, we propose a SheetCopilot agent that takes natural language task and control spreadsheet to fulfill the requirements. We propose a set of atomic actions as an abstraction of spreadsheet software functionalities. We further design a state machine-based task planning framework for LLMs to robustly interact with spreadsheets. We curate a representative dataset containing 221 spreadsheet control tasks and establish a fully automated evaluation pipeline for rigorously benchmarking the ability of LLMs in software control tasks. Our SheetCopilot correctly completes 44.3\% of tasks for a single generation, outperforming the strong code generation baseline by a wide margin. Our project page:https://sheetcopilot.github.io/.

研究动机与目标

• 使大语言模型能够通过自然语言指令可靠地控制电子表格应用程序。
• 解决在软件控制任务中评估大语言模型时缺乏标准化框架和全面基准测试的问题。
• 减轻非技术用户在重复性、易出错的电子表格任务中的负担。
• 开发一种稳健的自动化评估流水线，用于衡量大语言模型在交互式软件控制任务中的性能。
• 提供一种可泛化的框架，适用于大语言模型与软件的交互，不仅限于电子表格场景。

提出的方法

• 提出一组原子操作作为电子表格功能的抽象，以实现精确的命令生成。
• 设计一种基于状态机的任务规划框架，使大语言模型能够根据反馈生成并修改操作序列。
• 收集并整理了来自 superuser.com 的221个真实世界电子表格任务数据集，并附有经验证的真实解决方案。
• 建立一个完全自动化的评估流水线，通过执行和反馈模拟来验证任务正确性。
• 采用反馈循环机制，使智能体能够根据单元格状态、异常和错误信息动态调整计划。
• 采用模块化架构，其中大语言模型负责规划操作，控制器通过电子表格接口执行这些操作。

实验结果

研究问题

• RQ1 大语言模型能否准确理解复杂的自然语言请求，以生成正确且可执行的命令序列来操作电子表格？
• RQ2 基于状态机的规划框架在多步骤电子表格任务中如何提升鲁棒性和成功率？
• RQ3 所提出的基准测试与评估流水线在多大程度上能够实现对大语言模型在软件控制任务中性能的可靠、可扩展测量？
• RQ4 与传统的基于代码生成的基线模型相比，不同大语言模型在真实世界电子表格任务中的表现如何？
• RQ5 在大语言模型驱动的电子表格自动化中，主要的失败模式是什么？这些失败模式如何被诊断和缓解？

主要发现

• SheetCopilot 在使用单一大语言模型生成的情况下，于221个真实世界电子表格任务中实现了44.3%的成功率，显著优于强大的基于代码生成的基线模型。
• 该智能体成功为基准测试中87.3%的任务生成了完全可执行的命令序列，表明其具备强大的计划生成能力。
• 主要的失败模式包括错误的操作选择（占失败的33.7%）、解决方案不完整（如遗漏图表标题）以及因反馈处理不佳导致的操作重复。
• GPT-3.5-Turbo 常见错误包括使用错误的单元格范围、错误应用筛选条件或错误地自动填充列。
• 评估流水线实现了对大语言模型在交互式软件控制任务中性能的自动化、可靠且可扩展的评估。
• 局限性包括高 token 消耗、有限的状态反馈（忽略图表、数据透视表等）以及评估环境中对所有 Excel 功能支持不完整。