[論文レビュー] SheetCopilot: Bringing Software Productivity to the Next Level through Large Language Models

Hongxin Li, Jingran Su+3 more|arXiv (Cornell University)|May 30, 2023

Spreadsheets and End-User Computing被引用数 6

ひとこと要約

SheetCopilot は、自然言語による指示によってスプレッドシートのタスクを自動化する LLM ベースのエージェントであり、リクエストを原子的アクションに分解し、ステートマシンベースの計画フレームワークを用いる。221件の実世界のスプレッドシートタスクから構成される厳選されたベンチマークで 44.3% のタスク成功率を達成し、コード生成ベースラインを著しく上回った。

ABSTRACT

Computer end users have spent billions of hours completing daily tasks like tabular data processing and project timeline scheduling. Most of these tasks are repetitive and error-prone, yet most end users lack the skill to automate these burdensome works. With the advent of large language models (LLMs), directing software with natural language user requests become a reachable goal. In this work, we propose a SheetCopilot agent that takes natural language task and control spreadsheet to fulfill the requirements. We propose a set of atomic actions as an abstraction of spreadsheet software functionalities. We further design a state machine-based task planning framework for LLMs to robustly interact with spreadsheets. We curate a representative dataset containing 221 spreadsheet control tasks and establish a fully automated evaluation pipeline for rigorously benchmarking the ability of LLMs in software control tasks. Our SheetCopilot correctly completes 44.3\% of tasks for a single generation, outperforming the strong code generation baseline by a wide margin. Our project page:https://sheetcopilot.github.io/.

研究の動機と目的

• 大規模言語モデル（LLM）が自然言語による指示によってスプレッドシートアプリケーションを信頼性高く制御できるようにすること。
• ソフトウェア制御タスクにおける LLM の評価に向けた標準化されたフレームワークと包括的なベンチマークの欠如に対処すること。
• 非技術的エンドユーザーが繰り返し行いがちなエラーを伴うスプレッドシートタスクの負担を軽減すること。
• 対話型ソフトウェア制御タスクにおける LLM のパフォーマンスを測定する、堅牢で自動化された評価パイプラインの開発。
• スプレッドシートを越えて一般化可能な LLM-ソフトウェアインタラクションのフレームワークの提供。

提案手法

• スプレッドシート機能の抽象化としての原子的アクションのセットを提案し、正確なコマンド生成を可能にする。
• LLM がフィードバックに基づいてアクションシーケンスを生成および修正できるステートマシンベースのタスク計画フレームワークを設計する。
• superuser.com から収集した 221 件の実世界のスプレッドシートタスクと、検証済みの正解ソリューションを含むデータセットをキュレートする。
• 実行とフィードバックのシミュレーションを通じてタスクの正しさを検証する完全自動化された評価パイプラインを確立する。
• エージェントがセルの状態、例外、エラーを観測することで、動的に計画を調整するフィードバックループを採用する。
• LLM がアクションを計画し、コントローラーがスプレッドシートインターフェースを介してそれを実行するモジュラーなアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 LLM は、複雑な自然言語によるスプレッドシート操作リクエストを正確に解釈し、正しい実行可能なコマンドシーケンスを生成できるか？
• RQ2 ステートマシンベースの計画フレームワークは、複数ステップにわたるスプレッドシートタスクにおける耐障害性と成功確率をどのように向上させるか？
• RQ3 提案されたベンチマークおよび評価パイプラインは、ソフトウェア制御タスクにおける LLM パフォーマンスの信頼性あるスケーラブルな測定をどの程度可能にするか？
• RQ4 異なる LLM は、従来のコード生成ベースラインと比較して、実世界のスプレッドシートタスクでどの程度のパフォーマンスを示すか？
• RQ5 LLM を用いたスプレッドシート自動化における主な失敗モードは何か。それらはどのように特定され、緩和されるか？

主な発見

• SheetCopilot は、1回の LLM 生成で 221 件の実世界のスプレッドシートタスクに対して 44.3% の成功率を達成し、強力なコード生成ベースラインを著しく上回った。
• エージェントはベンチマークタスクの 87.3% に対して完全に実行可能なコマンドシーケンスを正しく生成できており、計画生成能力の高さが示された。
• 主な失敗モードには、誤ったアクション選択（失敗の 33.7%）、欠落した解決策（例：チャートタイトルの欠落）、フィードバック処理が不十分なために繰り返しアクションが発生する現象がある。
• GPT-3.5-Turbo は、誤ったセル範囲の使用、フィルタの誤った適用、誤った列の自動入力といったエラーを頻発する。
• 評価パイプラインにより、対話型ソフトウェア制御タスクにおける LLM パフォーマンスの自動的で信頼性が高くスケーラブルな評価が可能になった。
• 制限事項として、高コストのトークン消費、限られた状態フィードバック（チャート、ピvットテーブルなどを無視）、評価環境でのすべての Excel 機能への対応不完全が挙げられる。