[논문 리뷰] Unit Test Case Generation with Transformers

Michele Tufano, Dawn Drain외 3명|arXiv (Cornell University)|2020. 09. 11.

Software Engineering Research참고 문헌 22인용 수 19

한 줄 요약

AthenaTest는 실제 Java 메서드-테스트 쌍으로 구성된 대규모 실세계 데이터셋을 기반으로 훈련된 시퀀스-투-시퀀스 트랜스포머 모델을 제안하여 인간이 읽을 수 있고 문법적으로 올바른 단위 테스트 케이스를 생성합니다. 개발자 설문조사와 자동 평가 지표를 통해 검증된 결과, 테스트 커버리지, 가독성, 테스팅 효과성 측면에서 EvoSuite와 GPT-3를 능가합니다.

ABSTRACT

Automated Unit Test Case generation has been the focus of extensive literature within the research community. Existing approaches are usually guided by the test coverage criteria, generating synthetic test cases that are often difficult to read or understand for developers. In this paper we propose AthenaTest, an approach that aims at generating unit test cases by learning from real-world, developer-written test cases. Our approach relies on a state-of-the-art sequence-to-sequence transformer model which is able to write useful test cases for a given method under test (i.e., focal method). We also introduce methods2test - the largest publicly available supervised parallel corpus of unit test case methods and corresponding focal methods in Java, which comprises 630k test cases mined from 70k open-source repositories hosted on GitHub. We use this dataset to train a transformer model to translate focal methods into the corresponding test cases. We evaluate the ability of our model in generating test cases using natural language processing as well as code-specific criteria. First, we assess the quality of the translation compared to the target test case, then we analyze properties of the test case such as syntactic correctness and number and variety of testing APIs (e.g., asserts). We execute the test cases, collect test coverage information, and compare them with test cases generated by EvoSuite and GPT-3. Finally, we survey professional developers on their preference in terms of readability, understandability, and testing effectiveness of the generated test cases.

연구 동기 및 목표

• 기존 접근 방식에서 실생활에서의 현실성, 가독성, 효과성에 빈도가 높은 자동 단위 테스트 케이스 생성의 부족을 해결하기 위해.
• 합성 또는 커버리지 중심의 방법이 아닌 실제 개발자가 작성한 테스트 케이스를 기반으로 훈련하여 테스트 케이스 품질을 향상시키기 위해.
• 훈련 및 평가를 위한 공개 가능한 가장 큰 Java 메서드-테스트 쌍의 감독 데이터셋인 methods2test를 구축하고 배포하기 위해.
• 의미적 정확도 및 API 다양성과 같은 코드 전용 지표를 포함하여 자연어 처리(NLP) 및 코드 전용 지표를 모두 사용해 생성된 테스트 케이스를 평가하기 위해.
• 개발자들이 생성된 테스트 케이스의 가독성, 이해 가능성, 테스팅 효과성 측면에서 어떻게 평가하는지 평가하기 위해.

제안 방법

• 630만 개의 메서드-테스트 쌍을 포함한 methods2test 데이터셋을 기반으로 최신 시퀀스-투-시퀀스 트랜스포머 모델을 미세조정합니다.
• 훈련된 모델을 사용하여 초점 메서드를 인코딩하고, 번역 방식과 유사하게 해당 테스트 케이스를 디코딩하여 테스트 케이스를 생성합니다.
• 생성된 테스트 케이스를 참조 테스트 케이스와의 의미적 유사도를 평가하기 위해 BLEU, ROUGE, BERTScore를 사용합니다.
• 생성된 테스트 케이스의 문법적 정확도와 사용된 테스트 API(예: assert)의 수와 다양성을 측정합니다.
• 생성된 테스트 케이스를 실행하여 코드 커버리지를 측정하고, EvoSuite 및 GPT-3의 결과와 비교합니다.
• 전문 개발자들을 대상으로 설문조사를 실시하여 생성된 테스트 케이스의 가독성, 이해 가능성, 테스팅 효과성에 대한 평가를 수행합니다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델은 인간이 작성한 테스트 케이스와 의미적으로 얼마나 유사하게 테스트 케이스를 생성하는가?
• RQ2 EvoSuite 및 GPT-3와 비교할 때 생성된 테스트 케이스는 문법적 정확도와 API 다양성 측면에서 어떻게 다른가?
• RQ3 기본 도구들과 비교해 생성된 테스트 케이스는 어떤 수준의 테스트 커버리지를 달성하는가?
• RQ4 전문 개발자들은 생성된 테스트 케이스의 가독성과 이해 가능성에 대해 어떻게 평가하는가?
• RQ5 기존 접근 방식과 비교해 생성된 테스트 케이스는 결함 탐지에 얼마나 효과적인가?

주요 결과

• 트랜스포머 모델은 지표 테스트 케이스와 높은 의미적 유사도를 보였으며, BERTScore F1 점수를 통해 의미적 일치가 뛰어나다는 것을 확인했습니다.
• 생성된 테스트 케이스는 높은 문법적 정확도를 보였고, 다양한 테스트 API를 사용하여 강건성과 표현력이 뛰어나다는 것을 확인했습니다.
• 모델은 벤치마크 데이터셋에서 EvoSuite보다 높은 코드 커버리지를 달성했으며, GPT-3와 비교해도 유사하거나 더 뛰어난 커버리지를 확보했습니다.
• 전문 개발자들은 생성된 테스트 케이스가 EvoSuite 및 GPT-3의 결과보다 가독성과 이해 가능성 측면에서 더 우수하다고 평가했습니다.
• 개발자 설문 조사 결과, AthenaTest가 생성한 테스트 케이스는 결함 탐지에 더 효과적다고 평가되었습니다.
• methods2test 데이터셋은 테스트 케이스 생성 품질에 상당한 향상을 이끌어내었으며, 실제 세계 데이터를 활용한 훈련의 가치를 입증했습니다.