[论文解读] Automatic Software Diversity in the Light of Test Suites

Benoît Baudry, Simon Allier+2 more|arXiv (Cornell University)|Sep 1, 2015

Software Testing and Debugging Techniques参考文献 27被引用 6

一句话总结

本文研究通过'sosiefication'实现的自动软件多样化，该技术通过修改语句生成程序变体，同时保持测试套件的通过率。研究揭示了两个关键维度：(1) 测试套件覆盖强度与变体生成难度成反比，但即使在高度测试的代码中，变体依然可行；(2) 某些代码区域表现出'可塑性规范'——尤其在哈希函数中——存在多种有效实现方式，从而支持稳健的多样化。

ABSTRACT

A few works address the challenge of automating software diversification, and they all share one core idea: using automated test suites to drive diversification. However, there is is lack of solid understanding of how test suites, programs and transformations interact one with another in this process. We explore this intricate interplay in the context of a specific diversification technique called "sosiefication". Sosiefication generates sosie programs, i.e., variants of a program in which some statements are deleted, added or replaced but still pass the test suite of the original program. Our investigation of the influence of test suites on sosiefication exploits the following observation: test suites cover the different regions of programs in very unequal ways. Hence, we hypothesize that sosie synthesis has different performances on a statement that is covered by one hundred test case and on a statement that is covered by a single test case. We synthesize 24583 sosies on 6 popular open-source Java programs. Our results show that there are two dimensions for diversification. The first one lies in the specification: the more test cases cover a statement, the more difficult it is to synthesize sosies. Yet, to our surprise, we are also able to synthesize sosies on highly tested statements (up to 600 test cases), which indicates an intrinsic property of the programs we study. The second dimension is in the code: we manually explore dozens of sosies and characterize new types of forgiving code regions that are prone to diversification.

研究动机与目标

• 理解测试套件如何影响自动软件多样化在效率和可行性方面的表现。
• 研究程序结构、测试套件覆盖度与代码转换之间在生成有效程序变体时的相互作用。
• 识别并表征能够实现高影响力多样化的宽容性代码区域和可塑性规范。
• 为现实世界软件系统的内在可塑性提供实证和定性洞察。

提出的方法

• 对六个具有完整JUnit测试套件的开源Java程序应用sosiefication，生成24,583个程序变体（sosies）。
• 计算语句级别的执行签名作为规范覆盖度的代理——定义为执行每个语句的测试用例数量。
• 通过定量分析，将执行签名值与不同语句的sosiefication成功率相关联。
• 对数十个sosies进行手动代码检查，以分类宽容性代码区域并识别可塑性的模式。
• 比较不同测试覆盖率水平下的sosiefication结果，识别促进变体生成的结构性和规范级因素。
• 将研究发现置于更广泛的软件工程主题中进行语境化分析，包括容错性、鲁棒性以及可演化系统。

实验结果

研究问题

• RQ1 覆盖某个语句的测试用例数量如何影响生成有效sosie变体的难度？
• RQ2 哪些类型的代码区域在测试套件下仍能保持正确性，同时最易于实现多样化？
• RQ3 对于测试覆盖率极高的语句（例如600个测试用例），在多大程度上可以生成程序变体？
• RQ4 哪些结构性或规范级属性使得在强测试覆盖率下仍能实现高影响力多样化？
• RQ5 是否存在内在的程序特性——如'可塑性规范'——使得某些代码区域本质上对修改更具宽容性？

主要发现

• 随着每个语句的测试套件覆盖度提高，sosiefication的成功率下降，表明对高度测试的代码区域生成变体的难度更高。
• 尽管测试覆盖度很高（最高达600个测试用例），仍成功生成了有效的sosie变体，揭示了现实世界程序中固有的可塑性。
• 识别出一种新的'可塑性规范'类别——尤其在哈希函数中——由于开放但强约束的正确性契约，存在多种正确实现方式。
• 人工分析揭示了宽容性代码区域，这些区域并不一定与传统的宽容性构造（如优化代码或视频编解码器）相关。
• 本研究证实，代码的增删操作在生成多样化且正确的变体方面是有效的，支持操作系统保护和容错计算等应用。
• 宽容区域中存在可塑性规范的存在表明，多样化并非局限于特定代码模式，而是源于更深层次的规范级属性。