[논문 리뷰] Testing LLMs on Code Generation with Varying Levels of Prompt Specificity

Lincoln Murr, Morgan Grainger외 1명|arXiv (Cornell University)|2023. 11. 10.

Software Engineering Research인용 수 6

한 줄 요약

이 연구는 GPT-3.5, GPT-4, Claude-2 및 Bard와 같은 LLM에서 코드 생성 성능에 영향을 미치는 프롬프트의 구체성—특히 테스트 케이스 포함 여부—를 평가한다. 104개의 파이썬 코딩 문제에서 수행된 결과, 테스트 케이스를 포함한 프롬프트가 정확도와 신뢰성에 크게 기여하며, GPT-4와 GPT-3.5가 다른 모델들보다 뛰어난 성능을 보여, 신뢰성 있는 코드 생성을 위한 테스트 기반 프롬프팅의 가치를 입증한다.

ABSTRACT

Large language models (LLMs) have demonstrated unparalleled prowess in mimicking human-like text generation and processing. Among the myriad of applications that benefit from LLMs, automated code generation is increasingly promising. The potential to transform natural language prompts into executable code promises a major shift in software development practices and paves the way for significant reductions in manual coding efforts and the likelihood of human-induced errors. This paper reports the results of a study that evaluates the performance of various LLMs, such as Bard, ChatGPT-3.5, ChatGPT-4, and Claude-2, in generating Python for coding problems. We focus on how levels of prompt specificity impact the accuracy, time efficiency, and space efficiency of the generated code. A benchmark of 104 coding problems, each with four types of prompts with varying degrees of tests and specificity, was employed to examine these aspects comprehensively. Our results indicate significant variations in performance across different LLMs and prompt types, and its key contribution is to reveal the ideal prompting strategy for creating accurate Python functions. This study lays the groundwork for further research in LLM capabilities and suggests practical implications for utilizing LLMs in automated code generation tasks and test-driven development.

연구 동기 및 목표

• 다양한 프롬프트의 구체성—특히 테스트 케이스 포함 여부—가 LLM이 생성한 파이썬 코드 품질에 미치는 영향을 평가하기 위해.
• Bard, ChatGPT-3.5, ChatGPT-4, Claude-2와 같은 주요 LLM의 다양한 프롬프팅 전략에 따른 성능을 비교하기 위해.
• 테스트 기반 프롬프트가 코드 생성의 정확도, 시간 효율성, 공간 효율성 향상에 기여하는지 평가하기 위해.
• LLM를 사용하여 정확하고 효율적인 파이썬 함수를 생성하기 위한 최적의 프롬프팅 전략을 수립하기 위해.
• AI 기반 소프트웨어 개발에서 신뢰성을 향상시키기 위해 테스트 케이스를 프롬프트에 통합할 근거를 실증적으로 제시하기 위해.

제안 방법

• 104개의 다양한 파이썬 코딩 문제로 구성된 벤치마크를 구축하였으며, 각 문제는 구체성과 테스트 포함 여부에 따라 네 가지의 프롬프트 유형으로 나뉘었다.
• 네 가지 프롬프트 유형을 사용하였으며, (1) 문제 기술서만 포함, (2) 입력/출력 예시가 포함된 문제, (3) 테스트 케이스만 포함된 문제, (4) 예시와 테스트 케이스가 모두 포함된 문제이다.
• 각 문제와 프롬프트 유형에 대해 LLM을 사용하여 코드를 생성하고, 정확도, 시간 효율성, 공간 효율성 측면에서 평가하였다.
• 코드 정확도는 자동화된 테스트 실행을 통해 검증하였으며, 효율성 지표는 런타임 및 메모리 사용량 분석을 통해 측정하였다.
• 통계적 분석을 통해 다양한 모델과 프롬프트 유형 간의 정확도 및 효율성에 대한 유의미한 차이를 식별하기 위해 성능을 비교하였다.
• 재현 가능성과 결과의 신뢰성을 확보하기 위해 표준화된 평가 기준을 사용한 통제된 실험 설계를 채택하였다.

실험 결과

연구 질문

• RQ1 프롬프트에 테스트 케이스를 포함할 경우, LLM이 생성한 코드의 정확도에 어떤 영향을 미치는가?
• RQ2 GPT-3.5, GPT-4, Claude-2 및 Bard는 다양한 프롬프트 유형에서 정확한 파이썬 함수를 생성하는 데 있어 상대적으로 어떤 성능을 보이는가?
• RQ3 예시나 테스트 케이스를 통해 프롬프트의 구체성이 높아질 경우, 생성된 코드의 시간 효율성과 공간 효율성이 향상되는가?
• RQ4 프롬프트에서 기능 이름이 가림되거나 모호한 경우, LLM은 어떻게 성능을 발휘하는가?
• RQ5 테스트 기반 프롬프트가 LLM이 기능적으로 정확하고 견고한 코드를 생성하도록 얼마나 잘 이끌 수 있는가?

주요 결과

• 모든 평가된 LLM에서 프롬프트에 테스트 케이스를 포함할 경우 코드 생성 정확도가 크게 향상되었으며, GPT-4가 가장 높은 정확도를 기록하였다.
• GPT-3.5와 GPT-4는 모든 프롬프트 유형에서 뛰어난 성능을 보이며, 다양한 구체성 수준에 대한 강력한 적응력을 보였다.
• Claude-2는 매우 구체적인 프롬프트에서만 양호한 성능을 보였으며, 명시적인 지침에 의존하고 모호함에 취약함을 시사한다.
• 구식 모델인 Text-davinci-002는 신규 모델들에 비해 심각하게 성능이 열 劣하였으며, LLM 아키텍처의 급속한 발전을 확인시켰다.
• 기능 이름이 가려진 경우 모델의 성능이 떨어졌으며, 이는 모호함 상황에서의 추론 능력에 한계가 있음을 보여주며, LLM 일반화 능력의 핵심적 한계를 드러낸다.
• 테스트 기반 프롬프트가 더 신뢰성 있고 기능적으로 정확한 코드를 생성하게 하여, LLM 기반 개발 워크플로우에 TDD 원칙을 통합할 것을 뒷받침한다.