[논문 리뷰] Change Impact Analysis Based Regression Testing of Web Services

Animesh Chaturvedi|arXiv (Cornell University)|2014. 08. 07.

Software Testing and Debugging Techniques참고 문헌 33인용 수 4

한 줄 요약

이 논문은 웹 서비스의 변경 영향을 분석하여 복구 테스트 노력의 양을 줄이는 도구 기반 접근법인 자동 웹 서비스 변경 관리(AWSCM)를 제안한다. WSDL 요소를 방향성 그래프로 모델링하여 변경 영향을 식별함으로써, 운영 수준(ORTWS)과 매개변수 수준(PRTWS)의 복구 테스트 전략으로 변경 유형을 분류하고 기존 테스트 셋에서 관련 테스트 케이스를 선별하여 사례 연구에서 측정 가능한 노력 절감 효과를 얻은 유의미한 테스트 셋 축소를 달성한다.

ABSTRACT

Reducing the effort required to make changes in web services is one of the primary goals in web service projects maintenance and evolution. Normally, functional and non-functional testing of a web service is performed by testing the operations specified in its WSDL. The regression testing is performed by identifying the changes made thereafter to the web service code and the WSDL. In this thesis, we present a tool-supported approach to perform efficient regression testing of web services. By representing a web service as a directed graph of WSDL elements, we identify and gathers the changed portions of the graph and use this information to reduce regression testing efforts. Specifically, we identify, categorize, and capture the web service testing needs in two different ways, namely, Operationalized Regression Testing of Web Service (ORTWS) and Parameterized Regression Testing of Web Service (PRTWS). Both of the approach can be combined to reduce the regression testing efforts in the web service project. The proposed approach is prototyped as a tool, named as Automatic Web Service Change Management (AWSCM), which helps in selecting the relevant test cases to construct reduced test suite from the old test suite. We present few case studies on different web service projects to demonstrate the applicability of the proposed tool. The reduction in the effort for regression testing of web service is also estimated.

연구 동기 및 목표

• 진행 중인 웹 서비스 시스템에서 복구 테스트 오버헤드를 줄이기 위해.
• 수정 후 웹 서비스에서 변경된 컴포넌트를 식별하고 고립하기 위해.
• 변경 영향 기반으로 관련 테스트 케이스를 체계적으로 선택하는 방법을 개발하기 위해.
• 자동화된 테스트 셋 축소를 지원하는 프로토타입 도구(AWSCM)를 구현하기 위해.
• 실제 사례 연구를 통해 접근법의 효과성을 평가하기 위해.

제안 방법

• WSDL 요소를 사용하여 웹 서비스를 방향성 그래프로 모델링하여 구조적 의존성을 표현하기 위해.
• 서비스 업데이트 후 WSDL 기반 그래프의 변경된 부분을 식별하고 캡처하기 위해.
• 변경 유형을 두 가지 테스트 전략으로 분류하기 위해: ORTWS(운영 수준)와 PRTWS(매개변수 수준).
• 변경 영향 분석을 통해 수정에 영향을 받는 테스트 케이스를 식별하기 위해.
• 기존 테스트 셋에서 관련 테스트 케이스만을 선별하여 축소된 테스트 셋을 구성하기 위해.
• 해당 접근법을 프로토타입 도구 AWSCM으로 구현하여 테스트 케이스 선별 및 복구 테스트 축소를 자동화하기 위해.

실험 결과

연구 질문

• RQ1 웹 서비스에서 변경 영향을 효과적으로 분석하여 복구 테스트를 안내할 수 있는 방법은 무엇인가?
• RQ2 웹 서비스 진화 과정에서 변경에 가장 민감한 WSDL의 핵심 구성 요소는 무엇인가?
• RQ3 변경 영향을 어떻게 분류하여 다양한 수준의 복구 테스트를 지원할 수 있는가?
• RQ4 변경 영향 기반의 테스트 케이스 선별을 통해 테스트 셋 크기를 얼마나 줄일 수 있는가?
• RQ5 실제 웹 서비스 프로젝트에서 제안된 접근법의 효과성은 어느 정도인가?

주요 결과

• 제안된 접근법은 영향을 받는 컴포넌트에 집중함으로써 복구 테스트 셋의 크기를 크게 줄였다.
• 사례 연구를 통해 여러 웹 서비스 프로젝트에서 복구 테스트의 노력 절감 효과가 측정 가능하게 확인되었다.
• ORTWS와 PRTWS 전략의 통합은 세분화된 테스트 선택을 가능하게 하여 효율성을 향상시켰다.
• AWSCM은 WSDL 변경 영향 기반으로 관련 테스트 케이스를 성공적으로 식별하고 우선순위를 지정했다.
• 도구 기반 접근법은 실제 유지보수 환경에서 적용 가능하고 효과적인 것으로 입증되었다.
• 연구를 통해 WSDL 요소의 그래프 기반 모델링이 변경 영향 분석 정확도를 향상시킨다는 것이 확인되었다.