[논문 리뷰] TOGLL: Correct and Strong Test Oracle Generation with LLMs

Soneya Binta Hossain, Matthew B. Dwyer|arXiv (Cornell University)|2024. 05. 06.

Scientific Computing and Data Management인용 수 7

한 줄 요약

이 논문은 미세 조정된 코드 LLM을 사용해 정확하고 강력하며 다양한 테스트 오라클을 생성하는 TOGLL를 도입하고, unseen Java 프로젝트에서 TOGA와 EvoSuite 대비 정확도, 다양성, 버그 탐지에서 큰 이점을 보여준다.

ABSTRACT

Test oracles play a crucial role in software testing, enabling effective bug detection. Despite initial promise, neural-based methods for automated test oracle generation often result in a large number of false positives and weaker test oracles. While LLMs have demonstrated impressive effectiveness in various software engineering tasks, including code generation, test case creation, and bug fixing, there remains a notable absence of large-scale studies exploring their effectiveness in test oracle generation. The question of whether LLMs can address the challenges in effective oracle generation is both compelling and requires thorough investigation. In this research, we present the first comprehensive study to investigate the capabilities of LLMs in generating correct, diverse, and strong test oracles capable of effectively identifying a large number of unique bugs. To this end, we fine-tuned seven code LLMs using six distinct prompts on the SF110 dataset. Utilizing the most effective fine-tuned LLM and prompt pair, we introduce TOGLL, a novel LLM-based method for test oracle generation. To investigate the generalizability of TOGLL, we conduct studies on 25 large-scale Java projects. Besides assessing the correctness, we also assess the diversity and strength of the generated oracles. We compare the results against EvoSuite and the state-of-the-art neural method, TOGA. Our findings reveal that TOGLL can produce 3.8 times more correct assertion oracles and 4.9 times more exception oracles. Moreover, our findings demonstrate that TOGLL is capable of generating significantly diverse test oracles. It can detect 1,023 unique bugs that EvoSuite cannot, which is ten times more than what the previous SOTA neural-based method, TOGA, can detect.

연구 동기 및 목표

• 소프트웨어 테스트를 위한 정확하고 강력한 테스트 오라클을 생성할 수 있는 미세 조정 코드 LLM의 가능성을 조사한다.
• 생성된 오라클의 unseen 대규모 Java 프로젝트에 대한 일반화 가능성을 평가한다.
• LLM-생성 오라클의 다양성과 버그 탐지 강도를 최첨단 기준점과 비교하여 평가한다.
• 재현성 및 추가 연구를 위한 데이터셋, 모델, 코드 제공 및 LLM 기반 테스트 오라클 생성 연구를 촉진한다.

제안 방법

• SF110 유도 데이터셋의 테스트 프리픽스, MUT, 문서 문자열에 대해 6개의 컨텍스트 변형 프롬프트로 일곱 개의 코드 LLM(110M–2.7B 파라미터) 미세 조정.
• 검증 세트에서 정확도를 기반으로 최적의 모델-프롬프트 쌍을 선택하여 TOGLL 정의.
• 생성된 오라클을 통합한 테스트 스위트를 실행하여 정확성을 평가하고 성공률(비어 있지 않고 통과하는 올바른 오라클)을 측정.
• TOGLL를 TOGA(최신 신경 방법) 및 EvoSuite와 비교하여 25개의 unseen 대규모 Java 프로젝트에서 평가.
• PIT를 활용한 돌연변이 테스트를 통해 오라클 강도를 평가하고 변이체 탐지/고유 변이체 처치를 측정.
• 생성된 주장(assertion)의 다양성과 일반적인 assertion 범주에서의 분포를 분석.

Figure 1: Overview of our approach to explore LLM-based oracle generation and to evaluate TOGLL.

실험 결과

연구 질문

• RQ1 RQ1: 어떤 LLM 및 프롬프트 접근법이 생성 정확도 면에서 가장 효과적인 테스트 오라클을 제공하는가?
• RQ2 RQ2: unseen 프로젝트에서 TOGLL 미세 조정 모델이 baselines와 비교해 정확한 테스트 오라클을 얼마나 잘 생성하는가?
• RQ3 RQ3: LLM-생성 주장과 EvoSuite 생성 주장 간의 다양성 차이는 어떠한가?
• RQ4 RQ4: 돌연변이 테스트를 통한 고유 버그 식별 측면에서 생성된 주장들의 강도는 어느 정도인가?

주요 결과

• TOGLL은 TOGA보다 더 높은 올바른 오라클 생성을 달성하며 unseen 프로젝트에서 주장 오라클에 대해 최대 3.8배, 예외 오라클에 대해 4.9배의 개선을 보였다.
• TOGLL은 EvoSuite 대비 훨씬 더 다양한 주장들을 생성하며 많은 고유 관찰 대상(targets)을 가지며 194,871 개의 생성된 주장 중 18,630개가 정확히 일치하는 경우가 발생했다.
• unseen 프로젝트에서 TOGLL은 1,023개의 고유 변이를 탐지하였고 이는 TOGA 대비 10배 이상, EvoSuite보다 상당히 높은 수치로, 강력한 버그 탐지 능력을 시사한다.
• 프롬프트 컨텍스트가 중요하다: 메서드 시그니처나 전체 메서드 코드를 추가하면 정확도가 개선되며, P5(전체 MUT) 및 P6(doc+MUT)이 모델 전반에서 가장 좋은 성능을 보이는 경향이 있다; 문서 문자열만으로는 이득이 작다.
• 평가된 모델 중 CodeGen-350M 및 CodeParrot-110M이 가장 효과적인 프롬프트(P4–P6)에서 상위 성능을 보였다.
• TOGLL은 25개 실제 프로젝트에서 강한 성능을 유지하며 주장에 대한 평균 올바른 오라클 성공률이 63%, 예외의 경우 93.4%로 TOGA를 크게 능가한다.

Figure 2: EvoSuite-Generated Test Cases with Assertion and Exception Oracles. The prefix part is marked with yellow color.