[논문 리뷰] FlakiMe: Laboratory-Controlled Test Flakiness Impact Assessment. A Case Study on Mutation Testing and Program Repair

Maxime Cordy, Renaud Rwemalika외 2명|arXiv (Cornell University)|2019. 12. 06.

Software Testing and Debugging Techniques인용 수 6

한 줄 요약

FlakiMe는 변이 테스팅과 자동 프로그램 수리에 대한 영향을 연구하기 위해 테스트 셋에 구성 가능한 흔들림(플라키니스)을 주입하는 실험실 환경에서 제어되는 플랫폼이다. 결과적으로 5%의 흔들림조차도 변이 점수에 2–4%의 왜곡을 일으키지만, 프로그램 수리에서는 50%의 대상에서 흔들리는 테스트 커버리지로 인해 실패한다. 이는 흔들림을 고려한 결함 로컬라이제이션과 패치 선택 기법의 필요성을 강조한다.

ABSTRACT

Much research on software testing makes an implicit assumption that test failures are deterministic such that they always witness the presence of the same defects. However, this assumption is not always true because some test failures are due to so-called flaky tests, i.e., tests with non-deterministic outcomes. Unfortunately, flaky tests have major implications for testing and test-dependent activities such as mutation testing and automated program repair. To deal with this issue, we introduce a test flakiness assessment and experimentation platform, called FlakiMe, that supports the seeding of a (controllable) degree of flakiness into the behaviour of a given test suite. Thereby, FlakiMe equips researchers with ways to investigate the impact of test flakiness on their techniques under laboratory-controlled conditions. We use FlakiME to report results and insights from case studies that assesses the impact of flakiness on mutation testing and program repair. These results indicate that a 5% of flakiness failures is enough to affect the mutation score, but the effect size is modest (2% - 4% ), while it completely annihilates the ability of program repair to patch 50% of the subject programs. We also observe that flakiness has case-specific effects, which mainly disrupts the repair of bugs that are covered by many tests. Moreover, we find that a minimal amount of user feedback is sufficient for alleviating the effects of flakiness.

연구 동기 및 목표

• 소프트웨어 테스팅 기법에 대한 흔들림의 체계적이고 재현 가능한 평가 부족을 해결하기 위해.
• 연구자들이 실제 세계의 노이즈에서 벗어나 제어 조건 하에서 흔들림을 실험할 수 있도록 하기 위해.
• 흔들림이 변이 점수와 수리 효율성과 같은 핵심 테스팅 메트릭에 어떤 영향을 미치는지 평가하기 위해.
• 다수의 테스트가 같은 버그 문장을 커버할 때 흔들리는 테스트가 결함 로컬라이제이션과 패치 생성 단계에서 어떤 영향을 미치는지 감도 분석을 위해.
• 흔들림에 강건한 테스팅 기법을 설계하기 위한 프레임워크를 제공하기 위해.

제안 방법

• FlakiMe는 테스트 실행 시점에 비결정적인 실패 결과를 도입함으로써 테스트 셋에 제어 가능한 흔들림을 주입한다.
• 이 플랫폼은 연구자가 흔들림 비율(예: 5%, 10%)을 설정하고, 이를 테스트 케이스 전반에 균일하게 또는 선택적으로 적용할 수 있도록 한다.
• FlakiMe는 소스 코드나 테스트 로직을 수정하지 않고도 테스트 실행 계층에서 작동하며, 테스트 결과를 수정한다.
• 기존의 테스팅 파이프라인과의 통합을 지원하여 실제 시스템에서 제어 실험을 가능하게 한다.
• 유명한 변이 테스팅과 자동 프로그램 수리에 대한 사례 연구를 통해 흔들리는 테스트 행동을 시뮬레이션할 수 있다.
• 사용자가 진짜 실패로 간주되는 테스트를 지정할 수 있도록 피드백 메커니즘을 사용하여 결함 로컬라이제이션의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 제어된 흔들림이 다양한 수준의 흔들림에서 변이 테스팅 점수에 어떤 영향을 미치는가?
• RQ2 테스트의 흔들림이 자동 프로그램 수리 기법의 결함 로컬라이제이션 및 정확한 패치 생성 능력에 얼마나 심각하게 영향을 미치는가?
• RQ3 다수의 테스트가 같은 버그 문장을 커버할 경우, 흔들림이 프로그램 수리의 결함 로컬라이제이션 단계에 어떤 영향을 미치는가?
• RQ4 진짜 실패를 식별하는 사용자 피드백이 흔들리는 테스트 조건에서 프로그램 수리의 강건성을 높일 수 있는가?
• RQ5 커버링 테스트의 수가 흔들리는 테스트 실패로 인해 유효한 패치가 기각될 가능성을 어떻게 영향을 미치는가?

주요 결과

• 5%의 흔들림 비율은 변이 점수에 2%에서 4%의 변동을 유도하며, 이는 이 메트릭에 미치는 미약하지만 측정 가능한 영향을 시사한다.
• 흔들림은 프로그램 수리에 비례적으로 심각한 영향을 미치며, 5%의 흔들림 조건에서 50%의 대상 프로그램이 수리 불가능해진다.
• 프로그램 수리의 결함 로컬라이제이션 단계는 흔들리는 테스트에 매우 민감하며, 특히 버그가 많은 테스트로 커버될 경우 더욱 그러하다.
• 의심스러운 점수 기반 필터링은 흔들리는 테스트가 점수를 왜곡시킬 경우 유효한 패치를 기각할 위험이 있으며, 이는 패치 생성 실패로 이어질 수 있다.
• 커버링 테스트 수가 적은 패치는 더 잘 보존되고 생성될 가능성이 높으며, 이는 유전적 프로그래밍의 피트니스 함수가 낮은 테스트 커버리지 패치를 우선시해야 한다는 것을 시사한다.
• 사용자가 진짜 실패를 식별하는 피드백은 가짜 양성 결과의 위험을 크게 줄이고, 흔들리는 환경에서 수리의 강건성을 향상시킬 수 있다.