[논문 리뷰] Prompting Code Interpreter to Write Better Unit Tests on Quixbugs Functions

V.O.K. Li, Nick Doiron|arXiv (Cornell University)|2023. 09. 30.

Software Engineering Research인용 수 4

한 줄 요약

이 연구는 Quixbugs 데이터셋의 함수에서 Code Interpreter(기반 모델: GPT-4)가 생성한 단위 테스트의 품질에 영향을 미치는 다양한 프롬프팅 전략을 조사한다. 프롬프트 형식, 예시, 주석의 변화가 있었음에도 테스트 품질은 거의 변화하지 않았다; 그러나 모델는 자주 자신의 코드를 자가 수정하는 것으로 나타나, 실행 가능한 피드백 루프를 활성화하는 것이 신뢰성과 출력 정확도를 크게 향상시킨다.

ABSTRACT

Unit testing is a commonly-used approach in software engineering to test the correctness and robustness of written code. Unit tests are tests designed to test small components of a codebase in isolation, such as an individual function or method. Although unit tests have historically been written by human programmers, recent advancements in AI, particularly LLMs, have shown corresponding advances in automatic unit test generation. In this study, we explore the effect of different prompts on the quality of unit tests generated by Code Interpreter, a GPT-4-based LLM, on Python functions provided by the Quixbugs dataset, and we focus on prompting due to the ease with which users can make use of our findings and observations. We find that the quality of the generated unit tests is not sensitive to changes in minor details in the prompts provided. However, we observe that Code Interpreter is often able to effectively identify and correct mistakes in code that it writes, suggesting that providing it runnable code to check the correctness of its outputs would be beneficial, even though we find that it is already often able to generate correctly-formatted unit tests. Our findings suggest that, when prompting models similar to Code Interpreter, it is important to include the basic information necessary to generate unit tests, but minor details are not as important.

연구 동기 및 목표

• 실제 파이썬 함수에서 Code Interpreter가 생성한 단위 테스트의 품질에 프롬프트 변형이 미치는 영향을 평가하는 것.
• 형식, 예시, 역할 기반 지시어 등의 미세한 프롬프트 수정이 테스트 정확도와 완전성에 영향을 주는지 여부를 판단하는 것.
• 모델가 자체 생성한 테스트 코드의 오류를 탐지하고 수정할 수 있는 능력을 평가하는 것.
• 개발자들이 효과적이고 실용적인 방법으로 LLM을 사용해 단위 테스트를 생성할 수 있도록 하는 최적의 프롬프팅 전략을 도출하는 것.
• 반복적인 프롬프팅 없이 실행 가능한 피드백을 활용해 테스트 생성 품질을 향상시키는 것이 가능한지 탐색하는 것.

제안 방법

• 연구는 Quixbugs 데이터셋에서 함수를 추출해 Code Interpreter(기반 모델: GPT-4)를 사용해 단위 테스트를 생성한다. 이 데이터셋은 자동화된 테스팅을 위한 것으로 설계되어 있다.
• 프롬프트는 형식을 다양화하여 시스템적으로 변형시켰다: 코드 컨텍스트는 원시 코드 또는 자연어 기반 설명으로 제시되었으며, 형식화된 예시나 역할 기반 주석(예: '전문 코더로서 행동하라')을 포함하거나 제외했다.
• 생성된 단위 테스트는 통제된 환경에서 실행되어 정확도, 컴파일 성공 여부, 액세서트 정확도를 평가했다.
• 모델의 자가 수정 능력을 평가하기 위해, 생성된 코드를 실행하고 이후 생성 버전에서 오류가 탐지되고 수정되었는지 분석했다.
• 간단한 입력/출력 테스트 프레임워크와 호환되는 함수의 일부를 선별해 실행 가능한 평가를 보장했다.
• 각 프롬프트에 대해 여러 차례 생성을 수행해 올바르고 컴파일 가능한 테스트 세트를 확보할 가능성을 높였다.

실험 결과

연구 질문

• RQ1 코드 대비 자연어 기반 컨텍스트와 같은 프롬프트 형식의 변형이 생성된 단위 테스트의 품질에 어떤 영향을 미치는가?
• RQ2 형식화된 예시나 역할 기반 주석(예: '전문 코더로서 행동하라')을 포함시키는 것이 테스트 품질을 뚜렷이 향상시키는가?
• RQ3 Code Interpreter가 자체 생성한 단위 테스트 코드의 오류를 어느 정도 탐지하고 수정할 수 있는가?
• RQ4 실행 가능한 피드백(즉, 코드 실행)을 포함시키는 것이 정적 프롬프팅 대비 테스트 생성의 신뢰성에 어떤 영향을 미치는가?
• RQ5 Code Interpreter를 사용해 정확하고 컴파일 가능하며 포괄적인 단위 테스트를 생성하기 위해 가장 효과적인 프롬프팅 전략은 무엇인가?

주요 결과

• Code Interpreter가 생성한 단위 테스트의 품질은 형식 스타일, 예시 포함 여부, 역할 기반 주석 유무 등의 미세한 프롬프트 변형에 거의 민감하지 않다.
• 미세한 프롬프트 변형의 영향이 미미함에도 불구하고, Code Interpreter는 자주 자신의 코드를 자가 수정하는 것으로 나타나, 강력한 내부 일관성과 오류 탐지 능력을 지니고 있음을 시사한다.
• 모델는 추가적인 구조 지시 없이도 문법적으로 정확하고 적절히 형식화된 단위 테스트를 매우 효과적으로 생성할 수 있다.
• 모델가 자신의 출력을 실행할 수 있도록 하는 것이 신뢰성을 크게 향상시키며, 실행 가능한 피드백 루프를 통합하는 것이 테스트 품질 향상에 기여함을 시사한다.
• 모델는 최소 또는 애매한 컨텍스트가 제공되어도 강력한 일반화 능력을 보이며 정확한 테스트를 생성할 수 있음을 보여준다.
• 향후 향상 방향은 프롬프트 엔지니어링에 초점을 맞추기보다는 피드백 메커니즘 개선에 맞출 것임을 연구가 강조한다.