[논문 리뷰] Reliable Mining of Automatically Generated Test Cases from Software Requirements Specification (SRS)

Lilly Raamesh, G. V. Uma|arXiv (Cornell University)|2010. 02. 05.

Software Testing and Debugging Techniques참고 문헌 6인용 수 10

한 줄 요약

이 논문은 기능적 요구사항과 비기능적 요구사항을 분류하고, 이를 상태 차트로 변환한 후 계획 기반 상태 전이를 통해 자동으로 신뢰할 수 있는 테스트 케이스를 생성하는 방법을 제안한다. 또한 테스트 케이스 집합의 크기를 줄이기 위해 데이터 마이닝 기법을 적용하여 테스트 케이스의 유지보수성과 지식 추출 효율성을 향상시킨다.

ABSTRACT

Writing requirements is a two-way process. In this paper we use to classify Functional Requirements (FR) and Non Functional Requirements (NFR) statements from Software Requirements Specification (SRS) documents. This is systematically transformed into state charts considering all relevant information. The current paper outlines how test cases can be automatically generated from these state charts. The application of the states yields the different test cases as solutions to a planning problem. The test cases can be used for automated or manual software testing on system level. And also the paper presents a method for reduction of test suite by using mining methods thereby facilitating the mining and knowledge extraction from test cases.

연구 동기 및 목표

• 수동 테스트 케이스 생성의 과제를 해결하기 위해 SRS 문서에서 테스트 케이스를 자동으로 유도하는 것.
• 테스트 케이스 생성을 위해 SRS 문서의 기능적 요구사항과 비기능적 요구사항을 체계적으로 분류하는 것.
• 요구사항 기반 상태 정보를 공식적인 상태 차트로 변환하여 체계적인 테스트 케이스 유도를 위한 것.
• 데이터 마이닝 기법을 활용해 테스트 케이스 집합의 크기를 줄여 유지보수성과 지식 추출 효율성을 향상시키는 것.
• 신뢰할 수 있는 기계 기반 테스트 케이스를 통해 자동화 및 수동 시스템 수준의 테스팅을 가능하게 하는 것.

제안 방법

• 체계적인 접근을 사용하여 SRS 내 요구사항을 기능적 요구사항(FR)과 비기능적 요구사항(NFR)으로 분류하는 것.
• 모든 관련 정보를 바탕으로 시스템 동작을 모델링하는 상태 차트로 분류된 요구사항을 변환하는 것.
• 상태 전이를 계획 문제의 해로 간주하여 시스템 상태를 모두 커버하는 테스트 케이스를 생성하는 것.
• 중복되거나 덜 관련성이 있는 테스트 케이스를 식별하고 제거하기 위해 데이터 마이닝 방법을 적용하여 전체 테스트 케이스 집합의 크기를 줄이는 것.
• 유도된 테스트 케이스를 자동화 및 수동 시스템 수준 소프트웨어 테스팅에 사용하는 것.
• 마이닝 과정을 활용해 테스트 케이스에서 재사용 가능한 지식을 추출하여 장기적인 테스트 유지보수를 향상시키는 것.

실험 결과

연구 질문

• RQ1 SRS 문서의 기능적 요구사항과 비기능적 요구사항을 테스트 케이스 생성을 위해 체계적으로 분류하는 방법은 무엇인가?
• RQ2 SRS에서 파생된 시스템 동작을 효과적으로 모델링할 수 있는 공식적 표현(예: 상태 차트)은 무엇인가?
• RQ3 모델의 상태 전이를 어떻게 활용하여 포괄적인 테스트 케이스를 자동으로 생성할 수 있는가?
• RQ4 테스트 커버리지에 영향을 주지 않으면서 테스트 케이스 집합의 크기를 줄이기 위해 적용할 수 있는 데이터 마이닝 기법은 무엇인가?
• RQ5 유도된 테스트 케이스는 자동화 및 수동 시스템 수준의 테스팅을 어떻게 지원할 수 있는가?

주요 결과

• 이 방법은 요구사항 분류 기반으로 정확하게 시스템 동작을 반영하는 상태 차트로 SRS 문서를 성공적으로 변환한다.
• 상태 전이를 계획 문제의 해로 모델링하여 체계적인 커버리지가 보장되는 테스트 케이스가 자동으로 생성된다.
• 데이터 마이닝 기법의 적용으로 테스트 케이스 집합의 크기가 줄어들어 유지보수성과 효율성이 향상된다.
• 유도된 테스트 케이스는 시스템 수준의 자동화 및 수동 테스팅에 적합하다.
• 마이닝 과정을 통해 테스트 케이스에서 효과적인 지식 추출이 가능하여 장기적인 테스트 진화를 지원한다.
• SRS에서 파생된 테스트 케이스의 신뢰성과 재사용성을 향상시켜 수동 테스트 설계의 노력을 줄인다.