[논문 리뷰] Unit Test Generation using Generative AI : A Comparative Performance Analysis of Autogeneration Tools

Shreya Bhatia, Tarushi Gandhi외 2명|arXiv (Cornell University)|2023. 12. 17.

Energy Load and Power Forecasting인용 수 4

한 줄 요약

이 연구는 ChatGPT가 파이썬 코드의 단위 테스트를 생성하는 데의 효과성을 평가하며, 절차적, 함수 기반, 클래스 기반 코드에서 검색 기반 도구인 Pynguin과 비교한다. 결과적으로 ChatGPT는 Pynguin과 유사한 커버리지를 달성했으며, 프롬프트 반복을 통해 성능이 향상되었지만, 생성된 암시적 진술 중 약 1/3이 잘못되었으며, 누락된 문장에 대한 겹침이 최소한이므로 두 도구의 조합을 통해 커버리지를 향상시킬 잠재력이 있다.

ABSTRACT

Generating unit tests is a crucial task in software development, demanding substantial time and effort from programmers. The advent of Large Language Models (LLMs) introduces a novel avenue for unit test script generation. This research aims to experimentally investigate the effectiveness of LLMs, specifically exemplified by ChatGPT, for generating unit test scripts for Python programs, and how the generated test cases compare with those generated by an existing unit test generator (Pynguin). For experiments, we consider three types of code units: 1) Procedural scripts, 2) Function-based modular code, and 3) Class-based code. The generated test cases are evaluated based on criteria such as coverage, correctness, and readability. Our results show that ChatGPT's performance is comparable with Pynguin in terms of coverage, though for some cases its performance is superior to Pynguin. We also find that about a third of assertions generated by ChatGPT for some categories were incorrect. Our results also show that there is minimal overlap in missed statements between ChatGPT and Pynguin, thus, suggesting that a combination of both tools may enhance unit test generation performance. Finally, in our experiments, prompt engineering improved ChatGPT's performance, achieving a much higher coverage.

연구 동기 및 목표

• 대규모 언어 모델, 특히 ChatGPT가 파이썬 프로그램의 단위 테스트를 생성하는 데의 효과성을 평가하는 것.
• 검색 기반 단위 테스트 생성기인 Pynguin과의 비교를 통해 ChatGPT의 테스트 커버리지, 정확도, 가독성 측면에서의 성능 평가.
• 반복적 프롬프팅이 ChatGPT가 생성한 테스트 케이스의 품질과 커버리지 향상에 기여하는지 조사하는 것.
• ChatGPT가 생성한 암시적 진술의 정확도를 평가하고, 이들이 코드 기능의 의도와 얼마나 일치하는지 확인하는 것.
• LLM 기반 및 검색 기반 접근 방식을 조합하여 전체 단위 테스트 생성 성능을 향상시킬 수 있는 잠재력 탐색.

제안 방법

• 연구는 절차적 스크립트, 함수 기반 모듈러 코드, 클래스 기반 모듈러 코드 각각 20개씩 총 60개의 파이썬 프로젝트로 구성된 정제된 데이터셋을 사용한다.
• 각 프로젝트에서 순환 복잡도, 함수 수, 상호의존성 메트릭을 기반으로 100~300줄 분량의 핵심 모듈을 선정한다.
• ChatGPT는 코드 모듈을 프롬프트로 제공받아 테스트를 생성하고, Pynguin이 생성한 테스트와 비교한다.
• 반복적 프롬프팅은 이전 반복에서 누락된 문장을 다시 피드백하여 커버리지를 향상시키는 방식으로 적용된다.
• 테스트 품질 평가에는 문장 커버리지, 암시적 진술의 정확도, 가독성 등의 메트릭이 사용된다.
• 결합된 접근 방식은 ChatGPT와 Pynguin의 테스트 스위트를 병합하여 상호 보완적 커버리지 향상을 평가하기 위해 평가된다.

실험 결과

연구 질문

• RQ1 RQ1: ChatGPT와 Pynguin이 커버리지, 정확도, 가독성 측면에서 단위 테스트 생성에 있어 어떻게 비교되는가?
• RQ2 RQ2: ChatGPT가 생성한 테스트 케이스의 효과성이 반복 프롬프팅을 통해 어떻게 향상되는가?
• RQ3 RQ3: ChatGPT가 생성한 암시적 진술의 정확도는 어느 정도이며, 코드 기능의 의도와 일치하는 비율은 얼마인가?
• RQ4 RQ4: ChatGPT와 Pynguin을 조합하면 커버리지 및 효과성 측면에서 전체 단위 테스트 생성 성능을 향상시킬 수 있는가?

주요 결과

• ChatGPT는 모든 코드 유형에서 Pynguin과 유사한 문장 커버리지를 달성했으며, 평균 커버리지에서 통계적으로 유의미한 차이가 없었다.
• 반복적 프롬프팅은 함수 기반 및 클래스 기반 코드에서 ChatGPT의 커버리지를 향상시켰으며, 네 번째 반복 이후 포화 상태에 도달했지만, 절차적 스크립트에서는 향상이 관찰되지 않았다.
• ChatGPT가 생성한 암시적 진술 중 약 1/3이 잘못되었으며, 정확도는 유형 1(절차적)에서 유형 3(클래스 기반)으로 갈수록 향상되었다.
• ChatGPT와 Pynguin이 각각 누락한 문장 간 겹침이 최소한이었으며, 이는 상호 보완적인 커버리지를 보여주고, 두 도구를 조합하여 전체 커버리지를 높일 수 있음을 시사한다.
• 이 연구는 LLM 기반 및 검색 기반 접근 방식을 조합하면 더 높은 커버리지를 달성할 수 있음을 확인했으며, 두 도구를 테스트 생성 파이프라인에 통합할 것을 지지한다.
• ChatGPT의 자연어 이해에 기반한 접근 방식은 높은 커버리지를 제공하지만, 정확도가 떨어지는 암시적 진술을 유발할 수 있으며, 향후 LLM 기반 테스트에서 의미 기반의 암시적 진술 생성이 필요함을 시사한다.