[논문 리뷰] AutoScrum: Automating Project Planning Using Large Language Models

Martin Schröder|arXiv (Cornell University)|2023. 06. 05.

Software Engineering Research인용 수 7

한 줄 요약

이 논문은 GPT-3.5-turbo와 같은 대규모 언어 모델(LLM)을 Guidance 언어와 함께 활용하여 애자일 프로젝트 기획을 자동화하는 AutoScrum 프레임워크를 소개한다. 두 가지 접근 방식—구조화된 스크럼 기반 파이프라인과 단축 경로 반복 기반 기획 방식—을 통해 현재 상태에서 목표 상태로 이르는 작업 순서를 자동으로 생성한다. 결과적으로 LLM이 인간 간섭을 최소화하면서도 일관되고 목표 중심의 프로젝트 계획을 자율적으로 생성할 수 있음을 입증한다.

ABSTRACT

Recent advancements in the field of large language models have made it possible to use language models for advanced reasoning. In this paper we leverage this ability for designing complex project plans based only on knowing the current state and the desired state. Two approaches are demonstrated - a scrum based approach and a shortcut plan approach. The scrum based approach executes an automated process of requirements gathering, user story mapping, feature identification, task decomposition and finally generates questions and search terms for seeking out domain specific information to assist with task completion. The shortcut approach looks at most recent snapshot of the current and desired state and generates the next most reasonable task to do in order to get to the desired state as quickly as possible. In this paper we automate everything using a novel concept of "Language Programs". These are programs written in natural language designed to process input data through the language model. Guidance language is used for all LLM programs. All demo source code for this paper is available at https://github.com/autoscrum/autoscrum

연구 동기 및 목표

• 대규모 언어 모델을 사용하여 애자일 환경에서 종단 간 프로젝트 기획을 자동화하는 것.
• 스크럼 방법론에서 수동 기획으로 인한 높은 인지 부담과 비효율성을 해결하는 것.
• LLM이 정의된 현재 상태와 목표 상태에서 현실적이고 목표 중심의 작업 순서를 자율적으로 생성할 수 있는지 탐색하는 것.
• 구조화된 스크럼 파이프라인과 반복적 단축 경로 기반 기획이라는 두 가지 다른 기획 전략의 효과성을 평가하는 것.
• 구조화된 프롬프트와 프로그래밍적 제어가 가능한 LLM이 인간 간섭 없이도 일관되고 실행 가능한 프로젝트 계획을 생성할 수 있음을 입증하는 것.

제안 방법

• 프레임워크는 '언어 프로그램'—Guidance 라이브러리를 통해 실행되는 자연어 스크립트—을 사용하여 구조화된 프롬프트로 LLM 행동을 제어한다.
• 스크럼 기반 접근 방식은 요구사항 수집, 사용자 스토리 매핑, 기능 식별, 작업 분해, 정보 탐색 질의를 자동화한다.
• 단축 경로 접근 방식은 반복적인 LLM 추론을 통해 현재 상태와 목표 상태를 바탕으로 다음으로 가장 논리적인 작업을 생성하며, 탐욕적 경로 탐색 전략을 모방한다.
• 정밀도와 집중도를 확보하기 위해 온도 초수치(0–0.1)를 사용하며, 민감도 평가를 위해 고온(1.2)도 테스트한다.
• 모든 LLM 상호작용은 명시적인 역할 정의, 작업 추적, 상태 보고 기능을 포함한 고정된 프롬프트 구조에 기반한다.
• 전체 소스 코드는 Microsoft Guidance 문법을 사용하여 GitHub에 공개되어 재현성과 오픈소스 및 전용 LLM과의 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델이 현재 상태와 목표 상태만을 이용하여 완전한 프로젝트 계획을 자율적으로 생성할 수 있는가?
• RQ2 구조화된 스크럼 기반 워크플로우가 LLM이 일관되고 실행 가능한 프로젝트 계획을 생성하는 데 얼마나 효과적인가?
• RQ3 반복적 단축 경로 기반 기획 접근 방식이 전통적 기획 방식에 비해 속도와 목표 일치도 측면에서 뛰어나게 작용할 수 있는가?
• RQ4 온도 설정이 생성된 프로젝트 계획의 품질과 일관성에 어떤 영향을 미치는가?
• RQ5 LLM이 애자일 소프트웨어 개발 환경에서 인간과 유사한 추론 및 기획을 어느 정도 시뮬레이션할 수 있는가?

주요 결과

• 스크럼 기반 접근 방식은 닭 농장 목표에 대해 요구사항, 사용자 스토리, 작업 분해, 정보 탐색 질의를 포함한 완전한 프로젝트 계획을 성공적으로 생성했다.
• 단축 경로 접근 방식은 현재 상태에서 목표 상태로 진행되는 일관되고 목표 중심의 작업 순서를 생성했으며, 최소한의 이탈을 보였다.
• 낮은 온도 설정(0–0.1)은 더 결정적이고 집중도 높은 작업 순서를 생성했고, 높은 온도(1.2)는 더 공격적이지만 덜 안정적인 기획 경로를 유도했다.
• 이 프레임워크는 GPT-3.5-turbo를 사용하더라도 구조화된 프롬프트 환경에서 다단계 추론과 기획을 시뮬레이션할 수 있음을 입증했다.
• Guidance 언어의 사용은 LLM 행동에 대한 신뢰할 수 있는 프로그래밍적 제어를 가능하게 하여 반복 가능하고 감사 가능한 기획 워크플로우를 실현했다.
• 전체 소스 코드와 예시 계획이 공개되어 있어 프레임워크의 재현 및 확장이 가능하다.