[논문 리뷰] A Review on the Process of Automated Software Testing

Durga Shree Nagabushanam, Sree Dharinya S외 3명|arXiv (Cornell University)|2022. 09. 07.

Software System Performance and Reliability인용 수 7

한 줄 요약

이 논문은 현대 IT 환경에서 소프트웨어 신뢰성, 효율성 및 비용 효율성을 향상시키는 데서 자동화된 소프트웨어 테스팅 프로세스의 역할을 강조하며, 자동화된 소프트웨어 테스팅 과정을 검토한다. 수동 테스팅의 과제를 서술하고, 오류와 사이클 시간을 줄이기 위해 도구 기반 자동화를 지지하며, 효과적인 자동화가 테스팅 비용을 최대 75%까지 절감할 수 있고, 제품 품질과 출시 속도를 향상시킬 수 있음을 강조한다.

ABSTRACT

The requirements in automation, digitalization, and fast computations have loaded the IT sector with expectations of highly reliable, efficient, and cost-effective software. Given that the process of testing, verification, and validation of software products consumes 50-75% of the total revenue if the testing process is ineffective, "n" times the expenditure must be invested to mend the havoc caused. A delay in project completion is often attributed to the testing phase because of the numerous cycles of debugging process. The software testing process determines the face of the product released to the user. It sets the standard and reliability of a company's outputs. As the complexity increases, testing gets intense so as to examine all the outliers and various branches of the processing flow. The testing process is automated using software tools to avoid the tedious manual process of test input generation and validation criteria, which certifies the program only to a certain confidence level in the presence of outliers.

연구 동기 및 목표

• 소프트웨어 복잡성의 증가와 디지털 전환 수요 증가로 인해 자동화된 소프트웨어 테스팅의 필요성이 증가하고 있음을 분석하기 위해.
• 높은 비용과 지연을 초래하는 수동 테스팅의 한계를 특정하기 위해, 이는 프로젝트 예산의 50–75%를 차지할 수 있음.
• 자동화된 테스팅 도구가 테스트 커버리지 향상, 인간 오류 감소 및 디버깅 사이클 가속화에 어떻게 기여하는지 평가하기 위해.
• 자동화가 이상치 및 복잡한 처리 플로우를 체계적으로 처리함으로써 소프트웨어 신뢰성과 제품 품질을 어떻게 향상시키는지 검토하기 위해.
• 소프트웨어 공학 분야의 연구자들과 전문가들을 위해 자동화된 테스팅 파이프라인에 대한 종합적인 개요를 제공하기 위해.

제안 방법

• 소프트웨어 공학 분야의 자동화된 소프트웨어 테스팅 프로세스에 관한 기존 문헌에 대한 체계적 리뷰.
• 자동화된 도구를 사용한 테스트 케이스 설계, 실행 및 검증을 포함한 테스팅 라이프사이클 분석.
• 수동 작업을 줄이기 위한 테스트 입력 생성 및 결과 검증에 대한 도구 기반 접근 방식 평가.
• 자동화가 테스팅 사이클 시간 단축 및 소프트웨어 정확성에 대한 신뢰 수준 향상에 미치는 영향 평가.
• 사례 기반 통찰력과 산업 트렌드를 활용하여 자동화된 테스팅 프레임워크의 확장성과 신뢰성 설명.
• 테스팅 단계, 도구 통합 및 성능 메트릭을 요약하기 위해 시각적 표현(그림 및 표) 통합.

실험 결과

연구 질문

• RQ1 현대 소프트웨어 개발에서 수동 소프트웨어 테스팅과 관련된 주요 과제는 무엇인가요?
• RQ2 자동화된 소프트웨어 테스팅은 소프트웨어 검증 및 검수의 비용과 시간을 어떻게 줄입니까?
• RQ3 자동화된 도구는 테스트 커버리지 향상 및 복잡한 처리 플로우 처리에 어떻게 기여합니까?
• RQ4 자동화는 소프트웨어 제품의 신뢰성과 신뢰 수준을 어떻게 향상합니까?
• RQ5 자동화된 테스팅 통합은 프로젝트 배달 일정과 소프트웨어 품질에 어떤 영향을 미칩니까?

주요 결과

• 수동 테스팅은 총 프로젝트 수익의 50–75%를 소모할 수 있어 비효율성의 재정적 부담을 드러냅니다.
• 자동화된 테스팅은 테스트 입력 생성 및 결과 검증에 소요되는 시간과 노력을 크게 줄입니다.
• 도구 기반 자동화는 이상치 및 극단 케이스를 체계적으로 처리함으로써 소프트웨어 정확성에 대한 신뢰를 향상시킵니다.
• 테스팅 단계는 프로젝트 지연의 주요 원인으로 작용하며, 자동화를 통해 더 빠른 사이클 시간으로 이를 완화할 수 있습니다.
• 효과적인 자동화는 더 높은 소프트웨어 신뢰성과 향상된 제품 품질을 이끌어내며, 고객 신뢰와 기업 명성에 직접적인 영향을 미칩니다.
• 자동화 도구의 사용은 인간 오류를 줄이고 테스트 커버리지를 증가시켜 일관되고 반복 가능한 테스팅을 가능하게 합니다.