[논문 리뷰] Analysis of Test Efficiency during Software Development Process

T. R. Gopalakrishnan Nair, V. Suma외 1명|arXiv (Cornell University)|2012. 03. 29.

Software Engineering Research참고 문헌 2인용 수 9

한 줄 요약

이 논문은 네 개의 기업에서 수행한 사례 연구를 통해 소프트웨어 개발 단계 전반에서의 테스트 효율성을 조사하며, 요구사항 및 설계 단계에서의 테스트 효율성이 낮음을 밝혀냈다. 이는 설계 솔루션에 대한 동적 테스팅을 정적 문서 검토의 대체로 제안하여 결함을 조기에 발견함으로써 재작업을 줄이고, 품질을 향상시키며, 소프트웨어 지속 가능성과 생산성을 높인다.

ABSTRACT

One of the prerequisites of any organization is an unvarying sustainability in the dynamic and competitive industrial environment. Development of high quality software is therefore an inevitable constraint of any software industry. Defect management being one of the highly influencing factors for the production of high quality software, it is obligatory for the software organizations to orient them towards effective defect management. Since, the time of software evolution, testing is deemed a promising technique of defect management in all IT industries. This paper provides an empirical investigation of several projects through a case study comprising of four software companies having various production capabilities. The aim of this investigation is to analyze the efficiency of test team during software development process. The study indicates very low-test efficiency at requirements analysis phase and even lesser test efficiency at design phase of software development. Subsequently, the study calls for a strong need to improve testing approaches using techniques such as dynamic testing of design solutions in lieu of static testing of design document. Dynamic testing techniques enhance the ability of detection and elimination of design flaws right at the inception phase and thereby reduce the cost and time of rework. It further improves productivity, quality and sustainability of software industry.

연구 동기 및 목표

• 소프트웨어 개발 생애주기의 다양한 단계에서의 테스트 효율성을 평가하기 위해.
• 요구사항 및 설계 단계에서의 현재 테스트 관행의 비효율성을 규명하기 위해.
• 정적 설계 문서 검토의 대체로 동적 테스팅 기법을 제안하기 위해.
• 소프트웨어 품질을 향상시키고 재작업 비용을 줄이며 소프트웨어 개발의 전반적인 생산성을 향상시키기 위해.

제안 방법

• 생산 능력이 서로 다른 네 개의 소프트웨어 기업에서 실증 사례 연구를 수행하였다.
• 소프트웨어 개발 생애주기 전반에 걸쳐 여러 프로젝트의 테스트 효율성 데이터를 수집하고 분석하였다.
• 실제로 정적 설계 문서 테스팅과 동적 설계 솔루션 테스팅을 비교하였다.
• 동적 테스팅을 통한 조기 결함 탐지가 재작업과 프로젝트 일정에 미치는 영향을 평가하였다.
• 요구사항, 설계, 구현 단계에서의 테스트 효율성을 평가하기 위해 정량적 지표를 사용하였다.
• 결함 탐지 능력을 향상시키기 위해 초기 개발 단계에서 정적 테스팅에서 동적 테스팅으로의 전환을 제안하였다.

실험 결과

연구 질문

• RQ1 소프트웨어 개발의 요구사항, 설계, 구현 단계에서 테스트 효율성은 어떻게 변하는가?
• RQ2 설계 문서의 정적 테스팅이 조기에 설계 결함을 탐지하는 데에 어떤 한계를 가지는가?
• RQ3 설계 솔루션에 대한 동적 테스팅이 초기 개발 단계에서 결함 탐지 능력을 얼마나 향상시킬 수 있는가?
• RQ4 정적 테스팅에서 동적 테스팅으로의 전환은 재작업 비용과 프로젝트 일정에 어떤 영향을 미치는가?
• RQ5 향상된 조기 테스팅 접근법을 통해 소프트웨어 품질과 생산성은 어떻게 향상될 수 있는가?

주요 결과

• 요구사항 분석 단계에서 테스트 효율성이 매우 낮게 나타났다.
• 설계 단계에서 테스트 효율성이 더욱 떨어져 심각한 비효율성이 드러났다.
• 정적 설계 문서 테스팅이 조기에 중요한 설계 결함을 탐지하지 못해 고비용의 재작업을 유발했다.
• 설계 솔루션에 대한 동적 테스팅이 설계 결함의 조기 탐지 능력을 크게 향상시켰다.
• 동적 테스팅으로의 전환은 재작업 시간과 비용을 줄였으며, 전반적인 프로젝트 생산성을 향상시켰다.
• 초기 단계에서 동적 테스팅을 구현함으로써 소프트웨어 품질과 장기적인 지속 가능성은 향상되었다.