[논문 리뷰] Experimenting a New Programming Practice with LLMs

Simiao Zhang, Jia-Ping Wang외 4명|arXiv (Cornell University)|2024. 01. 02.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 요구사항 분석, 시스템 설계 및 검증 단계 전반에 걸쳐 인간의 피드백을 통합하는 AI 보조 소프트웨어 개발 프레임워크인 AISD를 소개한다. 사용자 참여를 유지하면서 LLM을 활용해 사용 사례, 시스템 설계 및 구현을 반복적으로 개선함으로써 AISD는 새로운 벤치마크에서 72.3%의 작업 성공률를 기록했으며, 인간이 개입하는 LLM 기반 개발 방식이 복잡한 소프트웨어 작업에서 신뢰성과 효과성을 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

The recent development on large language models makes automatically constructing small programs possible. It thus has the potential to free software engineers from low-level coding and allow us to focus on the perhaps more interesting parts of software development, such as requirement engineering and system testing. In this project, we develop a prototype named AISD (AI-aided Software Development), which is capable of taking high-level (potentially vague) user requirements as inputs, generates detailed use cases, prototype system designs, and subsequently system implementation. Different from existing attempts, AISD is designed to keep the user in the loop, i.e., by repeatedly taking user feedback on use cases, high-level system designs, and prototype implementations through system testing. AISD has been evaluated with a novel benchmark of non-trivial software projects. The experimental results suggest that it might be possible to imagine a future where software engineering is reduced to requirement engineering and system testing only.

연구 동기 및 목표

• 완전히 자동화된 LLM 기반 소프트웨어 개발 프레임워크가 사용자 참여 부족으로 인한 한계를 해결하기 위해.
• 요구사항 분석 및 시스템 검증 단계에서 인간의 피드백을 통합함으로써 LLM이 생성한 소프트웨어의 신뢰성과 일치도를 향상시키기 위해.
• 사용자와 LLM이 모두 이해할 수 있도록 최소화된, 경량이고 사용자 친화적인 요구사항 및 설계 문서 인터페이스를 설계하기 위해.
• 사용자 입력을 강조하는 반복적 개선을 포함한 LLM 기반 개발 파이프라인의 효과성을 평가하기 위해.
• AI 및 인간의 피드백을 통한 지원을 받을 경우 소프트웨어 공학이 요구사항 공학과 시스템 테스팅으로 단순화될 수 있음을 입증하기 위해.

제안 방법

• AISD는 고수준의 모호한 사용자 요구사항을 입력으로 받아 최소한의 집중적인 사용 사례 및 시스템 설계 문서를 생성한다.
• 이 프레임워크는 사용자 피드백에 기반해 LLM을 활용해 사용 사례와 시스템 설계를 반복적으로 개선함으로써 이해관계자 기대에 부합하는지를 보장한다.
• 시스템 설계는 원자적 코드 작업으로 분해되며, 이는 LLM을 사용해 자동으로 구현된다.
• 프로토타입 구현은 단위 테스트 및 시스템 테스트를 통해 검증되며, 실패 시 요구사항, 설계 또는 코드를 재편성하기 위한 피드백 루프가 발생한다.
• 작업 완료도와 일치도를 객관적으로 평가하기 위해 기준 사용 사례가 포함된 새로운 벤치마크가 제작된다.
• 프레임워크는 '적은 것이 더 좋다'는 철학에 따라 핵심 의사결정 지점에서만 최소한의 인간 참여를 유지한다.

실험 결과

연구 질문

• RQ1 LLM 기반 소프트웨어 개발 프레임워크가 인간 참여를 최소화하면서도 높은 작업 성공률를 달성할 수 있는가?
• RQ2 요구사항 분석 및 시스템 검증 단계에서 사용자 피드백을 통합할 경우 생성된 소프트웨어의 품질과 정확도가 어떻게 향상되는가?
• RQ3 복잡한 소프트웨어 개발 작업에서 인간이 개입하는 접근 방식이 완전히 자동화된 LLM 프레임워크를 얼마나 뛰어넘을 수 있는가?
• RQ4 경량적이고 사용 사례 중심의 설계 프로세스는 정확하고 유지보수 용이한 코드 생성을 얼마나 효과적으로 이끌 수 있는가?
• RQ5 반복적 테스트와 피드백 루프는 LLM 기반 개발에서 실패한 구현 수를 어떻게 크게 줄일 수 있는가?

주요 결과

• AISD는 복잡한 소프트웨어 프로젝트로 구성된 새로운 벤치마크에서 72.3%의 작업 성공률를 기록하여 높은 성능을 입증했다.
• 요구사항 및 설계 개선의 핵심 단계에서 사용자 피드백을 통합함으로써 기존의 종단 간 LLM 기반 접근 방식보다 뚜렷이 뛰어난 성능을 보였다.
• 핵심 의사결정 지점에서만 사용자를 참여시킴으로써 AISD는 토큰 소비를 줄이면서도 높은 정확도와 신뢰성을 유지했다.
• 표준화되고 최소한의 사용 사례 문서의 사용은 인간과 LLM의 이해도를 향상시키고, 시스템 명세의 모호성을 감소시켰다.
• 반복적 테스트와 피드백 루프를 통해 요구사항과 구현 간 불일치를 조기에 탐지할 수 있었으며, 재작업을 줄이고 일치도를 향상시켰다.
• 결과적으로 향후 소프트웨어 개발은 AI 및 인간이 개입하는 개선을 지원받을 경우 요구사항 공학과 시스템 테스팅으로 단순화될 수 있음을 시사한다.