[논문 리뷰] Large Language Models as Test Case Generators: Performance Evaluation and Enhancement

Kefan Li, Yuan Yuan|arXiv (Cornell University)|2024. 04. 20.

Software Testing and Debugging Techniques인용 수 7

한 줄 요약

요약: 이 논문은 LLM을 테스트 케이스 생성기로 평가하고, Python 해석기를 갖춘 다중 에이전트 프레임워크인 TestChain을 도입하여 생성된 테스트 케이스의 정확도와 강인성을 향상시키며, 특히 더 어려운 문제들에서 개선한다.

ABSTRACT

Code generation with Large Language Models (LLMs) has been extensively studied and achieved remarkable progress. As a complementary aspect to code generation, test case generation is of crucial importance in ensuring the quality and reliability of code. However, using LLMs as test case generators has been much less explored. Current research along this line primarily focuses on enhancing code generation with assistance from test cases generated by LLMs, while the performance of LLMs in test case generation alone has not been comprehensively examined. To bridge this gap, we conduct extensive experiments to study how well LLMs can generate high-quality test cases. We find that as the problem difficulty increases, state-of-the-art LLMs struggle to generate correct test cases, largely due to their inherent limitations in computation and reasoning. To mitigate this issue, we further propose a multi-agent framework called \emph{TestChain} that decouples the generation of test inputs and test outputs. Notably, TestChain uses a ReAct format conversation chain for LLMs to interact with a Python interpreter in order to provide more accurate test outputs. Our results indicate that TestChain outperforms the baseline by a large margin. Particularly, in terms of the accuracy of test cases, TestChain using GPT-4 as the backbone achieves a 13.84\% improvement over the baseline on the LeetCode-hard dataset.

연구 동기 및 목표

• 최신 LLM이 다양한 난이도의 데이터셋에서 함수 수준 단위 테스트 케이스를 얼마나 잘 생성하는지 평가한다.
• 테스트 케이스의 정답성에 제한을 주는 주요 오류 유형을 식별한다 (예: Assertion Errors, Runtime Errors, Timeouts).
• 입출력 매핑을 개선하기 위해 Python 해석기를 활용하는 분리된 다중 에이전트 아키텍처(TestChain)를 제안하고 검증한다.
• 0-shot 대 1-shot 프롬프트의 영향과 도구 보조 추론이 테스트 케이스 생성에 미치는 역할을 분석한다.

제안 방법

• HumanEval-no-exp 및 LeetCode-no-exp 데이터셋에서 네 가지 LLM(StarChat, CodeLlama, GPT-3.5, GPT-4)을 대상으로 대규모 실험을 수행한다.
• 테스트 케이스를 정확도, 선 커버리지, HumanEval용 새로운 Code-with-Bugs (CwB) 지표로 평가한다.
• 오류 유형(Assertion, Runtime, Timeout)을 분석하여 실패 모드를 이해한다.
• 입력용 Designer와 출력용 Calculator의 두 에이전트와 ReAct 스타일 상호작용을 통한 Python 해석기를 사용하는 TestChain을 제안하여 테스트 케이스를 생성하고 검증한다.
• 분리의 가치와 도구 상호작용을 평가하기 위해 TestChain을 Test Agent 베이스라인(1-shot)과 Python 해석기가 없는 수정된 TestChain 변형과 비교한다.
• 해당되는 경우 0-shot 대 1-shot 프롬프트에 대한 결과를 보고한다.

실험 결과

연구 질문

• RQ1 현재의 LLM이 쉬운 문제와 어려운 Python 문제를 아우르는 함수 수준 단위 테스트 케이스를 고품질로 생성할 수 있는가?
• RQ2 LLMs가 테스트 케이스를 생성할 때 지배적인 오류 유형은 무엇이며 문제의 난이도에 따라 어떻게 확장되는가?
• RQ3 테스트 입력 생성을 출력 생성과 분리하는 것이 테스트 케이스의 정확성과 강도를 향상시키는가?
• RQ4 ReAct 스타일 상호작용을 통해 Python 해석기를 도입하는 것이 생성된 테스트 케이스의 정확성을 크게 향상시키는가?
• RQ5 프롬프트 전략(0-shot vs 1-shot)이 이 작업에서 모델의 능력과 어떻게 상호작용하는가?

주요 결과

모델	방법	HumanEval-no-exp 정확도 (%)	HumanEval-no-exp 선 커버리지 (%)	HumanEval-no-exp CwB (%)	LeetCode-no-exp 정확도 (%)	LeetCode-no-exp 선 커버리지 (%)
GPT-3.5	Test Agent (1-shot)	74.02	74.69	74.15	38.97	73.66
GPT-3.5	TestChain	80.85	77.53	80.80	48.72	80.23
GPT-4	Test Agent (1-shot)	84.63	77.04	83.11	57.95	88.47
GPT-4	TestChain	90.24	80.00	88.66	71.79	90.60

• LLMs는 쉬운 문제에 대해 많은 테스트 케이스를 생성하지만 LeetCode-hard와 같은 어려운 문제에서 정확도가 급격히 감소한다.
• CwB와 선 커버리지는 모델 간에 다양한 개선을 보이며, 어려운 문제에서는 정확도가 병목이다.
• TestChain은 지표와 데이터셋 전반에서 항상 Test Agent(1-shot) 베이스라인을 능가한다.
• GPT-4를 사용한 TestChain은 LeetCode-no-exp에서 71.79% 정확도로, 베이스라인(1-shot)의 57.95%와 비교된다.
• Python 해석기를 갖춘 Calculator 에이전트를 사용하면 Assertion Errors가 감소하고 정확성 및 커버리지가 단일 샷 또는 해석기가 없는 설정에 비해 향상된다.
• Python 해석기가 없는 수정된 TestChain은 전체 TestChain보다 약해 도구 보조 계산의 중요한 역할을 강조한다.