[논문 리뷰] Efficient Mutation Testing via Pre-Trained Language Models

Ahmed Khanfir, Renzo Degiovanni외 2명|arXiv (Cornell University)|2023. 01. 09.

Software Testing and Debugging Techniques인용 수 5

한 줄 요약

이 논문은 CodeBERT, 사전 훈련된 코드 언어 모델을 사용하여 문맥 예측 기반으로 토큰을 마스킹하고 교체함으로써 개발자처럼 자연스러운 변종(mutants)을 생성하는 $μ$ Bert라는 변종 테스팅 기법을 제안한다. 689개의 Defects4J 버그에서 평가한 결과, $μ$ Bert는 PiTest보다 최대 17% 더 많은 결함을 드러내어 높은 결함 탐지 능력과 비용 효율성을 입증하였다.

ABSTRACT

Mutation testing is an established fault-based testing technique. It operates by seeding faults into the programs under test and asking developers to write tests that reveal these faults. These tests have the potential to reveal a large number of faults -- those that couple with the seeded ones -- and thus are deemed important. To this end, mutation testing should seed faults that are both "natural" in a sense easily understood by developers and strong (have high chances to reveal faults). To achieve this we propose using pre-trained generative language models (i.e. CodeBERT) that have the ability to produce developer-like code that operates similarly, but not exactly, as the target code. This means that the models have the ability to seed natural faults, thereby offering opportunities to perform mutation testing. We realise this idea by implementing $μ$BERT, a mutation testing technique that performs mutation testing using CodeBert and empirically evaluated it using 689 faulty program versions. Our results show that the fault revelation ability of $μ$BERT is higher than that of a state-of-the-art mutation testing (PiTest), yielding tests that have up to 17% higher fault detection potential than that of PiTest. Moreover, we observe that $μ$BERT can complement PiTest, being able to detect 47 bugs missed by PiTest, while at the same time, PiTest can find 13 bugs missed by $μ$BERT.

연구 동기 및 목표

• 엄격한 문법 규칙에 기반한 전통적 변종 테스팅의 한계, 즉 자연스럽지 않거나 단순한 변종을 생성한다는 점을 해결하기 위해.
• 실제 프로그래밍 패턴과 관례를 반영하는 변종을 생성하여 결함 탐지 효과성을 향상시키기 위해.
• 구문 규칙이나 결함 지식이 필요 없이, CodeBERT와 같은 사전 훈련된 언어 모델을 활용해 문맥적으로 관련성 있는 인간 같은 코드 변종을 생성하기 위해.
• 현실 세계의 버그에서 본 연구 방법의 효과성과 비용 효율성을 PiTest와 같은 최신 도구와 비교 평가하기 위해.
• 특히 조건 시딩(condition-seeding)을 포함한 추가적 변종이 결함 탐지 능력에 미치는 영향을 조사하기 위해.

제안 방법

• 코드 내 토큰을 마스킹하고 CodeBERT의 문맥 예측 기반으로 유의미한 토큰 교체를 예측함으로써, 문맥적으로 적절한 변종을 생성하기 위해 CodeBERT의 마스킹 언어 모델링(Masked Language Modeling, MLM) 기능을 활용한다.
• 프로그램 문장의 각 토큰을 순회하며 해당 토큰을 마스킹하고, CodeBERT의 상위 예측 결과를 사용해 다수의 후보 교체를 생성한다.
• 컴파일 불가능한, 중복되거나 문법적으로 동일한 변종을 제거하기 위해 필터링을 적용하여 유효하고 다양한 변종을 확보한다.
• 제어 흐름 조건을 확장함으로써 추가적 변종을 도입한다(예: `||` 또는 `&&`와 같은 논리 조건 추가)하고, 다시 마스킹하여 CodeBERT가 표현식을 완성하도록 한다.
• 직접 토큰 교체 변종과 조건 시딩 변종을 조합함으로써 복잡한 결함 패턴을 더 잘 커버할 수 있도록 변종 다양성을 높인다.
• 생성된 변종을 기반으로 테스트 셋 생성을 유도하고, 이러한 변종을 사망시키는 테스트가 얼마나 많은 실제 결함을 드러내는지 측정한다.

Figure 1 : $\mu$ Bert Workflow: (1) it parses the Java code given as input, and extracts the expressions to mutate; (2) it creates simple-replacement mutants by masking the tokens of interest and invoking CodeBERT; (3) it generates the mutants by replacing the masked token with CodeBERT predictions;

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델은 전통적인 문법 기반 변종 생성 기법보다 더 자연스럽고 효과적인 변종을 생성할 수 있는가?
• RQ2 다양한 설정(DIRECT, ALL, RV)에서 $μ$ Bert의 결함 탐지 능력은 PiTest와 비교해 어떻게 다른가?
• RQ3 특히 조건 시딩을 포함한 추가적 변종은 단순한 토큰 교체를 넘어서 결함 탐지 능력을 얼마나 향상시키는가?
• RQ4 생성된 변종 수 대비 결함 탐지 능력을 측정했을 때, $μ$ Bert는 PiTest보다 얼마나 비용 효율적인가?
• RQ5 실제 버그 탐지에서 변종의 다양성과 가독성은 테스트 효과성에 어떤 영향을 미치는가?

주요 결과

• 평균적으로 $μ$ Bert는 Defects4J의 689개 실제 버그 중 84%를 드러내어 뛰어난 결함 탐지 능력을 보였다.
• $μ$ Bert는 PiTest의 세 가지 설정(DEFAULT, ALL, RV) 모두를 능가했으며, $μ$ Bert 변종를 사망시키는 테스트 셋은 실제 결함을 5.5%에서 33% 더 많이 드러냈다.
• 동일한 수의 변종을 비교했을 때, $μ$ Bert는 PiTest보다 6%에서 16% 더 많은 결함을 탐지하는 테스트 셋을 유도했다.
• 직접 CodeBERT 예측과 조건 시딩 변종을 조합한 결과, 단순히 직접 예측만 한 경우보다 9% 이상 더 많은 버그를 탐지했다.
• $μ$ Bert는 PiTest가 놓친 47개의 버그를 탐지했고, 반대로 PiTest는 $μ$ Bert가 놓친 13개의 버그를 탐지했으며, 이는 상호 보완적인 강점을 보여준다.
• 이 방법은 비용 효율적이며, 문법 규칙이나 결함 전용 지식이 필요 없이, 사전 훈련을 통해 학습된 코드 분포에 의존한다.