[논문 리뷰] SheetCopilot: Bringing Software Productivity to the Next Level through Large Language Models

Hongxin Li, Jingran Su외 3명|arXiv (Cornell University)|2023. 05. 30.

Spreadsheets and End-User Computing인용 수 6

한 줄 요약

SheetCopilot는 자연어 지시를 통해 스프레드시트 작업을 자동화하는 LLM 기반 에이전트입니다. 요청을 원자적 동작으로 분해하고 상태 기반 계획 프레임워크를 사용합니다. 실생활 스프레드시트 작업 221건으로 구성된 정제된 벤치마크에서 44.3%의 작업 성공률을 기록하며, 코드 생성 기반 베이스라인을 크게 능가합니다.

ABSTRACT

Computer end users have spent billions of hours completing daily tasks like tabular data processing and project timeline scheduling. Most of these tasks are repetitive and error-prone, yet most end users lack the skill to automate these burdensome works. With the advent of large language models (LLMs), directing software with natural language user requests become a reachable goal. In this work, we propose a SheetCopilot agent that takes natural language task and control spreadsheet to fulfill the requirements. We propose a set of atomic actions as an abstraction of spreadsheet software functionalities. We further design a state machine-based task planning framework for LLMs to robustly interact with spreadsheets. We curate a representative dataset containing 221 spreadsheet control tasks and establish a fully automated evaluation pipeline for rigorously benchmarking the ability of LLMs in software control tasks. Our SheetCopilot correctly completes 44.3\% of tasks for a single generation, outperforming the strong code generation baseline by a wide margin. Our project page:https://sheetcopilot.github.io/.

연구 동기 및 목표

• 대규모 언어 모델이 자연어 지시를 통해 스프레드시트 애플리케이션을 신뢰성 있게 제어할 수 있도록 하는 것.
• 소프트웨어 제어 작업에서 LLM을 평가하기 위한 표준화된 프레임워크와 종합적인 벤치마크의 부족을 해결하는 것.
• 비기술적 최종 사용자들이 반복적이고 실수를 범하기 쉬운 스프레드시트 작업의 부담을 줄이는 것.
• 상호작용 소프트웨어 제어 작업에서 LLM 성능을 측정하기 위한 강력하고 자동화된 평가 파이프라인을 개발하는 것.
• 스프레드시트를 초과하는 일반화 가능한 LLM-소프트웨어 상호작용 프레임워크를 제공하는 것.

제안 방법

• 스프레드시트 기능의 추상화로 원자적 동작 세트를 제안하여 정밀한 명령어 생성을 가능하게 합니다.
• LLM이 피드백에 기반해 동작 시퀀스를 생성하고 수정할 수 있도록 상태 기반 기반의 작업 계획 프레임워크를 설계합니다.
• superuser.com에서 수집한 221개의 실생활 스프레드시트 작업을 포함하는 데이터셋을 정제합니다. 각 작업에는 검증된 정답 솔루션이 존재합니다.
• 실행 및 피드백 시뮬레이션을 통해 작업 정확도를 검증하는 완전 자동화된 평가 파이프라인을 구축합니다.
• 에이전트가 셀 상태, 예외, 오류를 관찰함으로써 계획을 동적으로 조정하는 피드백 루프를 활용합니다.
• LLM이 동작을 계획하고, 컨트롤러가 스프레드시트 인터페이스를 통해 이를 실행하는 모듈러 아키텍처를 구현합니다.

실험 결과

연구 질문

• RQ1 LLM은 스프레드시트 조작을 위한 복잡한 자연어 요청을 정확히 해석하고, 정확하며 실행 가능한 명령어 시퀀스를 생성할 수 있는가?
• RQ2 상태 기반 기반의 계획 프레임워크는 다단계 스프레드시트 작업에서 정확성과 내구성을 어떻게 향상시키는가?
• RQ3 제안된 벤치마크 및 평가 파이프라인은 소프트웨어 제어 작업에서 LLM 성능을 신뢰성 있고 스케일러블하게 측정하는 데 얼마나 기여하는가?
• RQ4 다양한 LLM은 전통적인 코드 생성 기반 베이스라인 대비 실생활 스프레드시트 작업에서 어떻게 성능을 발휘하는가?
• RQ5 LLM 기반 스프레드시트 자동화에서 주요 실패 원인은 무엇이며, 이를 어떻게 진단하고 완화할 수 있는가?

주요 결과

• SheetCopilot는 단일 LLM 생성을 통해 221개의 실생활 스프레드시트 작업에서 44.3%의 성공률을 기록하며, 강력한 코드 생성 기반 베이스라인을 크게 능가합니다.
• 에이전트는 벤치마크 작업의 87.3%에 대해 완전히 실행 가능한 명령어 시퀀스를 성공적으로 생성하여 뛰어난 계획 수립 능력을 보입니다.
• 주요 실패 원인은 잘못된 동작 선택(실패의 33.7%), 솔루션의 불완전성(예: 차트 제목 누락), 피드백 처리 부족으로 인한 반복 동작입니다.
• GPT-3.5-Turbo는 잘못된 셀 범위 사용, 잘못된 필터 적용, 잘못된 자동 채우기 등의 오류를 자주 범합니다.
• 평가 파이프라인은 상호작용 소프트웨어 제어 작업에서 LLM 성능을 자동으로, 안정적으로, 스케일러블하게 평가할 수 있도록 합니다.
• 한계점으로는 높은 토큰 소비, 제한된 상태 피드백(차트, 피벗 테이블 등 무시), 평가 환경에서 Excel의 모든 기능을 완전히 지원하지 못함이 있습니다.