[論文レビュー] Change Impact Analysis Based Regression Testing of Web Services

Animesh Chaturvedi|arXiv (Cornell University)|Aug 7, 2014

Software Testing and Debugging Techniques参考文献 33被引用数 4

ひとこと要約

本論文は、WSDL要因を有向グラフとしてモデル化することで、変更影響を特定し、Webサービスにおけるレグレッションテストの作業を削減する、ツール支援アプローチであるAutomatic Web Service Change Management (AWSCM)を提案する。変更をOperationalized (ORTWS)およびParameterized (PRTWS)レグレッションテストに分類することで、既存のテストスイートから関連するテストケースを選択し、事例研究において顕著なテストスイートの縮小と測定可能な作業削減を達成した。

ABSTRACT

Reducing the effort required to make changes in web services is one of the primary goals in web service projects maintenance and evolution. Normally, functional and non-functional testing of a web service is performed by testing the operations specified in its WSDL. The regression testing is performed by identifying the changes made thereafter to the web service code and the WSDL. In this thesis, we present a tool-supported approach to perform efficient regression testing of web services. By representing a web service as a directed graph of WSDL elements, we identify and gathers the changed portions of the graph and use this information to reduce regression testing efforts. Specifically, we identify, categorize, and capture the web service testing needs in two different ways, namely, Operationalized Regression Testing of Web Service (ORTWS) and Parameterized Regression Testing of Web Service (PRTWS). Both of the approach can be combined to reduce the regression testing efforts in the web service project. The proposed approach is prototyped as a tool, named as Automatic Web Service Change Management (AWSCM), which helps in selecting the relevant test cases to construct reduced test suite from the old test suite. We present few case studies on different web service projects to demonstrate the applicability of the proposed tool. The reduction in the effort for regression testing of web service is also estimated.

研究の動機と目的

• 進化するWebサービスシステムにおけるレグレッションテストのオーバーヘッドを低減すること。
• 変更後のWebサービスにおいて変更されたコンponentを特定・分離すること。
• 変更影響に基づいて関連するテストケースを体系的に選択するアプローチを開発すること。
• 自動テストスイートの縮小を支援するプロトタイプツール（AWSCM）を構築すること。
• 実世界の事例研究を通じて、このアプローチの有効性を評価すること。

提案手法

• WSDL要因を用いて、構造的依存関係を表す有向グラフとしてWebサービスをモデリングすること。
• サービスの更新後に変更されたWSDLベースのグラフの部分を特定・抽出すること。
• 変更を2つのテスト戦略に分類する：ORTWS（操作レベル）およびPRTWS（パラメータレベル）。
• 変更影響分析を用いて、変更によって影響を受けるテストケースを特定すること。
• 元のスイートから関連するテストケースのみを選択することで、縮小されたテストスイートを構築すること。
• アプローチをプロトタイプツールAWSCMとして実装し、テストケース選択とレグレッションテストの縮小を自動化すること。

実験結果

リサーチクエスチョン

• RQ1 Webサービスにおける変更影響を効果的に分析し、レグレッションテストを導くにはどうすればよいか？
• RQ2 Webサービスの進化において、変更に対して最も感受性が高いWSDLの主要な構成要素は何か？
• RQ3 変更影響をどのように分類することで、異なるレベルのレグレッションテストをサポートできるか？
• RQ4 変更影響に基づくテストケース選択を用いることで、テストスイートのサイズをどの程度縮小できるか？
• RQ5 この提案されたアプローチは、実世界のWebサービスプロジェクトにおいてどの程度効果的か？

主な発見

• 提案されたアプローチにより、影響を受けるコンponentにのみ焦点を当てることで、レグレッションテストスイートのサイズが顕著に削減された。
• 事例研究では、複数のWebサービスプロジェクトにおいて測定可能なレグレッションテスト作業の削減が確認された。
• ORTWSとPRTWS戦略の統合により、細粒度のテストケース選択が可能になり、効率性が向上した。
• AWSCMは、WSDLの変更影響に基づいて関連するテストケースを的確に特定・優先順位付けできた。
• ツールベースのアプローチは、実世界の保守シナリオにおいて適用可能で効果的であった。
• 本研究では、WSDL要因のグラフベースモデリングが、変更影響分析の正確性を高めることを確認した。