[论文解读] FlakiMe: Laboratory-Controlled Test Flakiness Impact Assessment. A Case Study on Mutation Testing and Program Repair

Maxime Cordy, Renaud Rwemalika+2 more|arXiv (Cornell University)|Dec 6, 2019

Software Testing and Debugging Techniques被引用 6

一句话总结

FlakiMe 是一个实验室可控的平台，可向测试套件中注入可配置的不稳定性，以研究其对变异测试和自动化程序修复的影响。结果显示，即使仅 5% 的不稳定性也会使变异分数产生 2%–4% 的偏差，但程序修复在 50% 的被测对象上因不稳定的测试覆盖而失败，凸显了对具备不稳定性感知能力的故障定位和补丁选择方法的需求。

ABSTRACT

Much research on software testing makes an implicit assumption that test failures are deterministic such that they always witness the presence of the same defects. However, this assumption is not always true because some test failures are due to so-called flaky tests, i.e., tests with non-deterministic outcomes. Unfortunately, flaky tests have major implications for testing and test-dependent activities such as mutation testing and automated program repair. To deal with this issue, we introduce a test flakiness assessment and experimentation platform, called FlakiMe, that supports the seeding of a (controllable) degree of flakiness into the behaviour of a given test suite. Thereby, FlakiMe equips researchers with ways to investigate the impact of test flakiness on their techniques under laboratory-controlled conditions. We use FlakiME to report results and insights from case studies that assesses the impact of flakiness on mutation testing and program repair. These results indicate that a 5% of flakiness failures is enough to affect the mutation score, but the effect size is modest (2% - 4% ), while it completely annihilates the ability of program repair to patch 50% of the subject programs. We also observe that flakiness has case-specific effects, which mainly disrupts the repair of bugs that are covered by many tests. Moreover, we find that a minimal amount of user feedback is sufficient for alleviating the effects of flakiness.

研究动机与目标

• 为解决软件测试技术中测试不稳定的系统性、可复现评估的缺乏问题。
• 使研究人员能够在受控条件下实验不稳定性，将不稳定性的影响与现实世界中的噪声隔离开来。
• 评估不稳定性对变异分数和修复有效性等关键测试指标的影响。
• 识别程序修复中受不稳定性测试干扰的故障定位和补丁生成的敏感点。
• 为设计具备抗不稳定性能力的测试技术提供框架。

提出的方法

• FlakiMe 通过在测试执行时引入非确定性失败结果，向测试套件中注入受控的不稳定性。
• 该平台允许研究人员配置不稳定性率（例如 5%、10%），并可统一或选择性地应用于测试用例。
• FlakiMe 在测试执行层运行，修改测试结果而不改变源代码或测试逻辑。
• 它支持与现有测试流水线的集成，使在真实系统上进行受控实验成为可能。
• 该工具通过模拟不稳定的测试行为，支持对变异测试和自动化程序修复的案例研究。
• 它采用反馈机制，允许用户指定哪些测试是真正的失败，从而提高故障定位的鲁棒性。

实验结果

研究问题

• RQ1 在不同不稳定性程度下，受控的不稳定性如何影响变异测试分数？
• RQ2 测试不稳定性在多大程度上会损害自动化程序修复技术在故障定位和生成正确补丁方面的能力？
• RQ3 不稳定性如何影响程序修复中的故障定位阶段，尤其是在多个测试覆盖同一处错误语句时？
• RQ4 在不稳定的测试条件下，用户对真实失败的反馈能否提高程序修复的鲁棒性？
• RQ5 覆盖测试的数量如何影响因不稳定性测试失败而导致有效补丁被丢弃的可能性？

主要发现

• 5% 的不稳定性率会导致变异分数产生 2% 至 4% 的波动，表明该指标受到适度但可测量的影响。
• 不稳定性对程序修复的影响具有显著的非对称性：在 5% 不稳定性率下，50% 的被测程序将无法生成补丁。
• 程序修复中的故障定位步骤对不稳定性测试极为敏感，尤其是在错误被大量测试覆盖时。
• 基于可疑度分数的过滤机制可能因不稳定性测试导致分数失真，从而错误地丢弃有效补丁，可能引发补丁生成失败。
• 覆盖测试较少的补丁更有可能被保留和生成，表明遗传编程中的适应度函数应优先考虑低测试覆盖度的补丁。
• 用户反馈识别真实失败可显著降低误报风险，并提高在不稳定环境下的修复鲁棒性。