[论文解读] Change Impact Analysis Based Regression Testing of Web Services

Animesh Chaturvedi|arXiv (Cornell University)|Aug 7, 2014

Software Testing and Debugging Techniques参考文献 33被引用 4

一句话总结

本文提出一种工具支持的方法——自动Web服务变更管理（AWSCM），通过将WSDL元素建模为有向图来识别变更影响，从而减少Web服务中的回归测试工作量。该方法将变更分类为操作化（ORTWS）和参数化（PRTWS）回归测试，从现有测试套件中选择相关测试用例，案例研究显示测试套件显著缩小，且工作量明显减少。

ABSTRACT

Reducing the effort required to make changes in web services is one of the primary goals in web service projects maintenance and evolution. Normally, functional and non-functional testing of a web service is performed by testing the operations specified in its WSDL. The regression testing is performed by identifying the changes made thereafter to the web service code and the WSDL. In this thesis, we present a tool-supported approach to perform efficient regression testing of web services. By representing a web service as a directed graph of WSDL elements, we identify and gathers the changed portions of the graph and use this information to reduce regression testing efforts. Specifically, we identify, categorize, and capture the web service testing needs in two different ways, namely, Operationalized Regression Testing of Web Service (ORTWS) and Parameterized Regression Testing of Web Service (PRTWS). Both of the approach can be combined to reduce the regression testing efforts in the web service project. The proposed approach is prototyped as a tool, named as Automatic Web Service Change Management (AWSCM), which helps in selecting the relevant test cases to construct reduced test suite from the old test suite. We present few case studies on different web service projects to demonstrate the applicability of the proposed tool. The reduction in the effort for regression testing of web service is also estimated.

研究动机与目标

• 减少演化中Web服务系统中的回归测试开销。
• 在修改后识别并隔离Web服务中的变更组件。
• 基于变更影响，开发一种系统化的相关测试用例选择方法。
• 构建一个原型工具（AWSCM）以支持自动化测试套件缩减。
• 通过真实世界案例研究评估该方法的有效性。

提出的方法

• 使用WSDL元素将Web服务建模为有向图，以表示结构依赖关系。
• 在服务更新后识别并捕获WSDL图中变更的部分。
• 将变更分类为两种测试策略：ORTWS（操作级别）和PRTWS（参数级别）。
• 使用变更影响分析确定哪些测试用例受修改影响。
• 通过仅从原始套件中选择相关测试用例，构建缩减后的测试套件。
• 将该方法实现为一个原型工具AWSCM，以自动化测试用例选择和回归测试缩减。

实验结果

研究问题

• RQ1 如何有效分析Web服务中的变更影响，以指导回归测试？
• RQ2 WSDL的关键组件中，哪些在Web服务演化过程中对变更最敏感？
• RQ3 如何对变更影响进行分类，以支持不同层次的回归测试？
• RQ4 基于变更影响的测试用例选择，可在多大程度上缩小测试套件规模？
• RQ5 该方法在真实世界Web服务项目中的有效性如何？

主要发现

• 该方法通过仅关注受影响组件，显著缩小了回归测试套件的规模。
• 案例研究显示，在多个Web服务项目中，回归测试工作量得到了可测量的减少。
• ORTWS与PRTWS策略的集成实现了细粒度的测试用例选择，提升了效率。
• AWSCM成功基于WSDL变更影响识别并优先处理了相关测试用例。
• 基于工具的方法在真实世界维护场景中被证明具有适用性和有效性。
• 研究证实，基于图的WSDL元素建模可提高变更影响分析的准确性。