[논문 리뷰] ChatUniTest: A Framework for LLM-Based Test Generation

Yinghao Chen, Hu, Zehao외 4명|arXiv (Cornell University)|2023. 05. 08.

Software Testing and Debugging Techniques인용 수 22

한 줄 요약

ChatUniTest는 적응형 초점 맥락 생성 및 수리 메커니즘을 갖춘 Generation-Validation-Repair 프레임워크를 사용하여 ChatGPT를 통해 고품질 단위 테스트를 생성하고, 여러 커버리지 및 정확도 지표에서 EvoSuite, AthenaTest, A3Test를 능가합니다.

ABSTRACT

Unit testing is an essential yet frequently arduous task. Various automated unit test generation tools have been introduced to mitigate this challenge. Notably, methods based on large language models (LLMs) have garnered considerable attention and exhibited promising results in recent years. Nevertheless, LLM-based tools encounter limitations in generating accurate unit tests. This paper presents ChatUniTest, an LLM-based automated unit test generation framework. ChatUniTest incorporates an adaptive focal context mechanism to encompass valuable context in prompts and adheres to a generation-validation-repair mechanism to rectify errors in generated unit tests. Subsequently, we have developed ChatUniTest Core, a common library that implements core workflow, complemented by the ChatUniTest Toolchain, a suite of seamlessly integrated tools enhancing the capabilities of ChatUniTest. Our effectiveness evaluation reveals that ChatUniTest outperforms TestSpark and EvoSuite in half of the evaluated projects, achieving the highest overall line coverage. Furthermore, insights from our user study affirm that ChatUniTest delivers substantial value to various stakeholders in the software testing domain. ChatUniTest is available at https://github.com/ZJU-ACES-ISE/ChatUniTest, and the demo video is available at https://www.youtube.com/watch?v=GmfxQUqm2ZQ.

연구 동기 및 목표

• 자동화된 단위 테스트 생성을 통해 개발자 부담을 줄이고 테스트 가독성과 정확성을 향상시키려는 동기 부여
• 프롬프트 토큰 한도를 준수하기 위해 적응형 초점 맥락 생성을 갖춘 ChatGPT 기반 프레임워크(Generation-Validation-Repair) 제안
• 생성된 테스트의 구문/컴파일/런타임 정확성 향상을 위한 규칙 기반 및 ChatGPT 기반의 검증 및 수리 구성요소 도입
• 다수의 Java 프로젝트 및 Defects4J 데이터셋에 대해 EvoSuite, AthenaTest, A3Test와의 실증적 비교 평가

제안 방법

• AST를 파싱하여 클래스 및 메서드 맥락을 수집하는 Java 프로젝트 전처리
• ChatGPT용 프롬프트를 형성하기 위한 최대 프롬프트 토큰 한도 내에서 적응형 초점 맥락을 생성
• Java 파서와 테스트 실행기를 사용하여 ChatGPT가 생성한 테스트를 추출, 파싱, 검증
• 규칙 기반 구성요소로 구문/컴파일 오류를 수정하고, 더 복잡한 오류에 대해서는 ChatGPT 기반 수리를 호출
• 구문적 정확성, 컴파일, 런타임 성공, 어설션 사용 및 모의 객체 여부를 평가하고 베이스라인과 커버리지 비교

Figure 1: Overview of ChatUniTest

실험 결과

연구 질문

• RQ1 RQ1: 생성된 단위 테스트의 구문, 컴파일, 실행 및 정확성 측면에서의 품질은 어떠한가?
• RQ2 RQ2: 커버리지와 정확성 측면에서 ChatUniTest의 성능은 EvoSuite, AthenaTest, A3Test에 비해 어떠한가?
• RQ3 RQ3: 생성, 규칙 기반 수리, ChatGPT 기반 수리 등 ChatUniTest 구성요소 각각이 전체 품질에 기여하는 바는 무엇인가?
• RQ4 RQ4: ChatUniTest로 단위 테스트를 생성하는 실질적 비용(토큰 사용량)은 어느 정도인가?

주요 결과

프로젝트	브랜치 커버리지 (EvoSuite)	브랜치 커버리지 (ChatUniTest)	라인 커버리지 (EvoSuite)	라인 커버리지 (ChatUniTest)
Lang	84.92%	94.70%	84.71%	91.94%
Cli	90.90%	96.36%	90.93%	93.52%
Csv	75.87%	84.09%	70.28%	86.61%
Gson	59.23%	83.88%	61.53%	86.80%
Chart	87.67%	88.27%	85.90%	84.03%
Ecommerce	100%	100%	89.58%	96.35%
Datafaker	91.12%	89.76%	58.55%	86.07%
Flink-k8s-opr	89.72%	78.76%	87.14%	83.02%
Binance-conn	98.72%	97.17%	87.59%	97.87%
Event-ruler	87.78%	93.14%	84.02%	87.40%
Average	86.59%	90.61%	80.02%	89.36%

• ChatUniTest는 97,878회의 성공 시도에서 30.86% 합격률과 29.98% 정답 테스트를 달성했다.
• 10개의 Java 프로젝트에서 ChatUniTest는 일반적으로 EvoSuite보다 분기 커버리지 및 선(lines) 커버리지에서 우수했고 평균 분기 커버리지 90.61%, 선 커버리지 89.36%를 보였다.
• Defects4J에서 AthenaTest 및 A3Test와 비교했을 때, ChatUniTest가 초점 메서드 커버리지와 더 높은 정답 테스트 비율을 대부분의 경우에서 달성했다.
• 적응형 초점 맥락 생성은 토큰 한도 내에서 프롬프트를 구성할 수 있게 하여 잘리는 현상을 줄이고 더 완전한 응답을 가능하게 한다.
• 규칙 기반 수리는 구문 및 import 관련 오류를 크게 줄이고, ChatGPT 기반 수리는 더 도전적인 오류를 해결하여 합격 및 정답 테스트의 큰 이점을 제공한다.

Figure 2: Prompt for focal method without dependency