[논문 리뷰] Software Testing Process Models Benefits & Drawbacks: a Systematic Literature Review.

Katarína Hrabovská, Bruno Rossi외 1명|arXiv (Cornell University)|2019. 01. 05.

Software Engineering Techniques and Practices참고 문헌 73인용 수 10

한 줄 요약

이 체계적 문헌 고찰은 실증 연구에서 도출된 17개의 소프트웨어 테스팅 프로세스 모델을 식별하여, 다양한 조직적 맥락과 분야에서의 이점, 단점, 적용 가능성에 대해 분석한다. 이는 기업의 규모와 산업 수요에 맞게 맞춤형으로 선택할 수 있도록 실증 기반의 통찰을 제공하며, 일률적인 적용 가능성을 주장하기보다는 맥락에 맞는 적합성을 강조한다.

ABSTRACT

Context: Software testing plays an essential role in product quality improvement. For this reason, several software testing models have been developed to support organizations. However, adoption of testing process models inside organizations is still sporadic, with a need for more evidence about reported experiences. Aim: Our goal is to identify results gathered from the application of software testing models in organizational contexts. We focus on characteristics such as the context of use, practices applied in different testing process phases, and reported benefits & drawbacks. Method: We performed a Systematic Literature Review (SLR) focused on studies about the application of software testing processes, complemented by results from previous reviews. Results: From 35 primary studies and survey-based articles, we collected 17 testing models. Although most of the existing models are described as applicable to general contexts, the evidence obtained from the studies shows that some models are not suitable for all enterprise sizes, and inadequate for specific domains. Conclusion: The SLR evidence can serve to compare different software testing models for applicability inside organizations. Both benefits and drawbacks, as reported in the surveyed cases, allow getting a better view of the strengths and weaknesses of each model.

연구 동기 및 목표

• 실제 조직적 맥락에서 적용된 소프트웨어 테스팅 프로세스 모델을 식별하고 분석하기 위해.
• 실증 연구에서 보고된 이러한 모델의 이점과 단점을 검토하기 위해.
• 예를 들어 임베디드 시스템 또는 방위 분야와 같은 다양한 조직의 규모와 분야에서 모델의 적합성을 평가하기 위해.
• 실증적 근거에 기반하여 전문가들이 적절한 테스팅 모델을 선택할 수 있도록 지원하기 위해.
• 산업 현장 경험과 실제 구현 과제에 초점을 맞춰 이전의 리뷰를 확장하기 위해.

제안 방법

• 재현성과 투명성을 보장하기 위해 PRISMA 지침을 따르는 체계적 문헌 고찰(SLR)을 수행하였다.
• 연구 질문과 반복적 쿼리 최적화를 통해 유도된 关련 키워드를 사용하여 다수의 학술 데이터베이스를 검색하였다.
• 사전 정의된 포함 및 배제 기준을 적용하여 실증 연구 및 설문 기반 기사에 중점을 두고 연구를 선별하였다.
• 모델 특성, 적용 분야, 향상 요소, 보고된 이점/단점에 관한 데이터를 추출하였다.
• Garcia 등, Afzal 등, Garousi 등이 이전에 수행한 리뷰와 비교하여 격차와 새로운 통찰을 식별하였다.
• 해석 타당성, 외부 타당성, 재현성 타당성 등의 유효성 위협을 평가하여 방법론적 엄밀함을 확보하였다.

실험 결과

연구 질문

• RQ1 산업적 맥락에서 가장 일반적으로 적용되는 소프트웨어 테스팅 프로세스 모델은 무엇이며, 어떤 분야에서 사용되나?
• RQ2 이러한 테스팅 모델을 도입할 때 조직에서 보고하는 이점과 단점은 무엇인가?
• RQ3 조직의 규모나 분야와 같은 특성은 테스팅 모델의 적합성에 어떻게 영향을 미치는가?
• RQ4 실제 현장에서 테스팅 프로세스의 다양한 단계에서 적용되는 구체적인 테스팅 실무는 무엇인가?
• RQ5 임베디드 시스템이나 방위 분야와 같은 특정 분야에 대해 테스팅 모델의 적응 가능성은 어느 정도인가?

주요 결과

• 35개의 주요 연구 및 설문 기반 기사에서 17개의 고유한 소프트웨어 테스팅 프로세스 모델을 식별하였다.
• 다수의 모델이 일반적으로 적용 가능하다고 기술되어 있지만, 실증적 근거에 따르면 모든 기업 규모나 분야에서 모두 적합한 것은 아님을 확인하였다.
• 가장 자주 보고된 향상 요소는 테스팅 프로세스의 표준화였으며, 그 다음으로 제품 품질 향상과 결함 탐지/감소가 뒤이었다.
• 임베디드 소프트웨어 및 방위 시스템과 같은 전문 분야의 조직들은 많은 모델이 부적합하거나 상당한 커스터마이제이션이 필요하다고 보고하였다.
• 모델 도입은 조직의 규모, 프로젝트 복잡성, 분야별 규제 요구사항과 같은 맥락 기반 요소에 의해 영향을 받는 경우가 많았다.
• 모델 간 실무가 상당히 다름을 확인하였으며, 테스트 기획, 설계, 실행, 측정 단계에서의 차이가 모델 선택에 영향을 미쳤다.