[论文解读] Investigating Software Testability and Test cases Effectiveness

Mamdouh Alenezi|arXiv (Cornell University)|Jan 25, 2022

Software Engineering Research被引用 4

一句话总结

本研究探讨了静态代码度量与测试度量之间的关系，以预测面向对象系统中的软件可测性和测试用例有效性。通过对1,186个Java开源项目应用变异分析和多种特征选择算法，研究识别出大小和复杂度度量——尤其是NBI、RFC、LOC、LOCCOM、WMC和NMC——是可测性和测试有效性的重要预测因子，其中NBI和RFC在所有评估方法中均表现最为关键。

ABSTRACT

Software measurement is an essential management tool to develop robust and maintainable software systems. Software metrics can be used to control the inherent complexities in software design. To guarantee that the components of the software are inevitably testable, the testability attribute is used, which is a sub-characteristics of the software's maintabilility as well as quality assurance. This study investigates the relationship between static code and test metrics and testability and test cases effectiveness. The study answers three formulated research questions. The results of the analysis showed that size and complexity metrics are suitable for predicting the testability of object-oriented classes.

研究动机与目标

• 探讨静态代码度量和测试度量如何影响软件可测性和测试用例有效性。
• 识别出预测面向对象系统中可测性和测试有效性最相关的代码和测试度量。
• 开发一个预测模型，利用软件度量区分无效与有效的测试用例。
• 通过突出与测试有效性相关的度量，为实践者提供支持，以改进测试设计和软件质量。

提出的方法

• 从1,186个开源Java项目中收集了静态代码度量和测试度量数据。
• 使用变异分数作为测试质量的代理指标，计算测试用例的有效性。
• 应用多种特征选择算法——信息增益比、信息增益、对称不确定性、OneR——以对度量重要性进行排序。
• 使用10折交叉验证和多种分类器评估模型性能，以确保结果的稳健性。
• 为提高分类准确率，排除了平均有效性（离散化噪声）的测试用例。
• 评估了两类度量（代码大小和复杂度）共28个度量的预测能力。

实验结果

研究问题

• RQ1 哪些静态代码度量和测试度量最能预测面向对象类的软件可测性？
• RQ2 不同特征选择算法如何对预测测试有效性的代码和测试度量的重要性进行排序？
• RQ3 能否利用代码和测试度量，通过预测模型有效地区分无效与有效的测试用例？

主要发现

• 大小和复杂度度量——尤其是NBI、RFC、LOC、LOCCOM、WMC和NMC——是可测性和测试用例有效性的强预测因子。
• NBI（字节码指令数）和RFC（类响应）在所有特征选择算法中均稳定排名前两位，是最具影响力的两个度量。
• LOC（代码行数）和LOCCOM（注释行数）在所有方法中均位列前四，表明其在可测性预测中的相关性。
• WMC（每类加权方法数）和NMC（方法调用次数）在所有方法中均位列前五，凸显其在基于复杂度的可测性评估中的作用。
• 通过交叉验证和多种评估指标验证了使用变异分数作为测试有效性代理的合理性，确保了模型的可靠性。
• 本研究证实，代码质量度量显著影响测试有效性，为开发人员改进测试设计和可维护性提供了可操作的洞察。