[논문 리뷰] K model for designing Data Driven Test Automation Frameworks and its Design Architecture Snow Leopard

Rohan R. Kachewar|arXiv (Cornell University)|2013. 04. 19.

Software Testing and Debugging Techniques참고 문헌 3인용 수 3

한 줄 요약

이 논문은 데이터 기반 테스트 자동화 프레임워크 설계를 위한 기준 프레임워크인 K 모델을 제안하고, 이를 구현한 구체적 아키텍처인 스노우 레이디오 아키텍처를 소개한다. K 모델은 테스트 수준과 도구 간의 설계를 표준화하며, 스노우 레이디오 아키텍처는 테스트 로직과 데이터를 데이터 기반으로 분리함으로써 테스트 유지보수성과 확장성을 향상시키는 재사용 가능하고 모듈화된 아키텍처를 제공한다. 이는 다양한 소프트웨어 프로젝트에서 효율적인 회귀 테스트 및 통합 테스트를 가능하게 한다.

ABSTRACT

Automated testing improves the efficiency of testing practice at various levels of projects in the organization. Unfortunately, we do not have a common architecture or common standards for designing frameworks across different test levels, projects and test tools which can assist developers, testers and business analysts. To address the above problem, in this paper, I have first proposed a unique reference model and then a design architecture using the proposed model for designing any Data Driven Automation Frameworks. The reference model is K model which can be used for modeling any data-driven automation framework. The unique Design architecture, based on above model is Snow Leopard.

연구 동기 및 목표

• 프로젝트와 도구 간에 표준화되고 재사용 가능한 아키텍처가 부족한 문제를 해결하기 위해.
• 공통 기준 모델을 수립함으로써 테스트 프레임워크의 중복을 줄이고 유지보수성을 향상시키기 위해.
• 단위, 통합, 시스템 테스트 수준 간에 테스트 로직과 테스트 데이터를 원활하게 통합하기 위해.
• 확장성과 도구에 종속되지 않는 테스트 프레임워크 개발을 지원하는 설계 청사진을 제공하기 위해.
• 개발자, 테스터, 비즈니스 분석가 간의 협업을 위해 통합되고 모듈화된 프레임워크 설계로 격차를 메우기 위해.

제안 방법

• K 모델은 테스트 케이스, 테스트 데이터, 테스트 실행 엔진, 테스트 설정, 테스트 보고서의 다섯 가지 핵심 구성 요소를 가진 기준 프레임워크로 도입된다.
• 스노우 레이디오 아키텍처는 테스트 로직과 데이터 소스를 분리하기 위해 계층적이고 컴포넌트 기반의 설계를 사용하여 K 모델을 구현한다.
• 테스트 데이터는 외부화되어 구성 파일이나 데이터베이스를 통해 관리되며, 코드 수정 없이도 동적 테스트 실행이 가능하다.
• 추상화 계층과 플러그인 인터페이스를 통해 다양한 테스트 도구와 실행 환경을 지원한다.
• 중앙 집중식 테스트 실행 엔진이 외부 소스에서 데이터를 사용해 테스트 케이스를 조율함으로써 일관성과 재사용성을 보장한다.
• 모듈성, 확장성, 도구 독립성을 강조하여 다양한 테스트 요구사항을 지원한다.

실험 결과

연구 질문

• RQ1 다양한 도구와 테스트 수준 간에 데이터 기반 테스트 자동화를 통합할 수 있는 표준화된 기준 모델을 어떻게 설계할 수 있는가?
• RQ2 특정 도구나 기술에 종속되지 않고도 재사용 가능하고 유지보수가 쉬운 테스트 프레임워크를 설계하기 위해 어떤 아키텍처 원칙이 필요한가?
• RQ3 테스트 로직과 테스트 데이터를 효과적으로 분리하여 테스트 유지보수성과 확장성을 향상시키기 위해선 어떻게 해야 하는가?
• RQ4 일반적이고 확장 가능한 테스트 자동화 프레임워크를 구축하기 위해 필수적인 설계 패턴과 구성 요소는 무엇인가?
• RQ5 제안된 아키텍처는 개발자, 테스터, 비즈니스 분석가 간의 테스트 설계 및 실행에서 협업을 어떻게 지원하는가?

주요 결과

• K 모델은 일관된 데이터 기반 테스트 자동화 시스템 설계를 가능하게 하는 표준화된 다섯 구성 요소 기반 기준 프레임워크를 제공한다.
• 스노우 레이디오 아키텍처는 K 모델을 성공적으로 구현하여 테스트 프레임워크 설계에서 모듈성, 재사용성, 도구 독립성을 입증한다.
• 외부화된 테스트 데이터 덕분에 코드 수정 없이도 동적 테스트 실행이 가능해져 유지보수성이 크게 향상된다.
• 공통 추상화 계층을 통해 단위, 통합, 시스템 테스트 수준 간에 원활한 통합을 지원한다.
• 테스트 로직과 데이터를 분리함으로써 효율적인 회귀 테스트를 가능하게 하여 테스트 주기 시간과 유지보수 오버헤드를 감소시킨다.
• 공통된 표준화된 프레임워크 구조를 제공함으로써 개발자, 테스터, 비즈니스 분석가 간의 협업을 촉진한다.