[논문 리뷰] Estimating Return on Investment for GUI Test Automation Tools

Felix Dobslaw, Robert Feldt외 4명|arXiv (Cornell University)|2019. 07. 08.

Software Testing and Debugging Techniques참고 문헌 34인용 수 5

한 줄 요약

이 논문은 실제 개발 변경 사항을 재생함으로써 GUI 테스트 자동화 프레임워크의 유지보수 비용과 투자 수익률(Return on Investment, ROI)을 추정하기 위한 수작업 소스코드 역사 재생 방법을 제안한다. 산업 현장 사례 연구에서 세레니움과 아이아토메이트를 비교한 결과, 개발 시간이 총 비용의 약 90%를 차지함을 확인하였으며, 아이아토메이트는 개발 시간을 줄였지만 유지보수 비용은 평균 32% 증가시켰고, 버그를 25% 더 많이 발견함을 확인하였다.

ABSTRACT

Automated graphical user interface (GUI) tests can reduce manual testing activities and increase test frequency. This motivates the conversion of manual test cases into automated GUI tests. However, it is not clear whether such automation is cost-effective given that GUI automation scripts add to the code base and demand maintenance as a system evolves. In this paper, we introduce a method for estimating maintenance cost and Return on Investment (ROI) for Automated GUI Testing (AGT). The method utilizes the existing source code change history and can be used for evaluation also of other testing or quality assurance automation technologies. We evaluate the method for a real-world, industrial software system and compare two fundamentally different AGT tools, namely Selenium and EyeAutomate, to estimate and compare their ROI. We also report on their defect-finding capabilities and usability. The quantitative data is complemented by interviews with employees at the case company. The method was successfully applied and estimated maintenance cost and ROI for both tools are reported. Overall, the study supports earlier results showing that implementation time is the leading cost for introducing AGT. The findings further suggest that while EyeAutomate tests are significantly faster to implement, Selenium tests require more of a programming background but less maintenance.

연구 동기 및 목표

• 산업 현장에서 GUI 테스트 자동화의 장기적 비용과 ROI를 평가하기 위한 객관적이고 경험적인 방법의 부족을 해결하기 위해.
• 실제 역사적 개발 데이터를 기반으로 경쟁하는 GUI 테스트 자동화 프레임워크 간의 선택을 위한 의사결정 지원 방법을 제공하기 위해.
• 다양한 AGT 프레임워크 간에 개발 노력, 유지보수 비용, 결함 탐지 능력, 사용성 간의 상호 교환 관계를 평가하기 위해.
• 기존 소스 코드 변경 이력을 자동화 비용과 이점 측정을 위한 역사적 기록으로 활용할 수 있는지의 실현 가능성과 가치를 입증하기 위해.
• GUI 테스트 자동화 기술 채택에 있어 프로젝트 매니저와 팀이 데이터 기반의 정보에 기반한 결정을 내릴 수 있도록 지원하기 위해.

제안 방법

• 각 버전에서 테스트 구현 및 유지보수에 대한 수작업 실행과 기록을 통해 소프트웨어의 소스 코드 변경 이력을 단계별로 재생하기 위해.
• 각 테스트 케이스에 대해 초기 구현 시점의 구현 시간과 시간이 지남에 따른 유지보수 노력 측정을 위한 사전 정의된 프로세스를 사용하기 위해.
• 버전 제어 이력을 활용하여 테스트 세트의 진화를 시뮬레이션하고, 각 버전을 비용 측정의 마일스톤로 간주하기 위해.
• 실제 비용 추정을 보장하기 위해 인간 테스터로부터 테스트 생성, 실행, 유지보수에 소요되는 시간 데이터를 수집하기 위해.
• 동일한 테스트 세트와 버전 이력 기반으로, ID/이름 기반의 세레니움과 이미지 기반의 아이아토메이트라는 두 가지 AGT 프레임워크를 비교하기 위해.
• 정량적 데이터에 더하여 인터뷰를 통해 실제 사용 상황에서의 사용성, 결함 탐지 능력, 실용적 과제를 평가하기 위해.

실험 결과

연구 질문

• RQ1 실제 산업 시스템에서 세레니움과 아이아토메이트라는 두 가지 다른 GUI 테스트 자동화 프레임워크의 유지는 장기적으로 비용이 어떻게 차이가 나는가?
• RQ2 이 프레임워크들에 대해 자동화된 GUI 테스트의 초도 구현 시간이 장기적 유지보수 비용에 비해 어떻게 비교되는가?
• RQ3 각 프레임워크의 결함 탐지 능력은 어떠한가? 진짜 양성과 거짓 음성의 측면에서 어떻게 비교되는가?
• RQ4 각 프레임워크의 사용성은 어떻게 다른가? 특히 프로그래밍 전문 지식 요구 수준과 테스트 생성 속도 측면에서.
• RQ5 소스 코드 변경 이력이 실제로 GUI 테스트 자동화의 ROI를 추정하는 데 얼마나 활용될 수 있는가?

주요 결과

• 세레니움과 아이아토메이트 모두 ROI에 도달하기까지 총 비용의 약 90%가 개발 시간에 기인하였다.
• 아이아토메이트는 세레니움에 비해 초도 개발 시간을 단축시켰지만, 평균적으로 각 버전당 유지보수 노력이 32% 더 높았다.
• 아이아토메이트는 30개의 버그를 발견하여 세레니움의 25개보다 25% 더 많은 버그를 탐지함으로써 더 높은 결함 탐지 능력을 보였다.
• 세레니움은 테스트 생성에 프로그래밍 배경이 필요로 했지만, 아이아토메이트는 비프로그래머도 접근 가능했다.
• 수작업 단계별 재생 방법은 유지보수 비용과 ROI를 성공적으로 추정하였으며, 프레임워크 선택에 실질적인 통찰을 제공하였다.
• 인터뷰 결과, 인간 테스터들은 아이아토메이트에서 시각적 변경에 더 관용적인 태도를 보였으며, UI의 변동성에 대응하는 데 잠재적인 이점이 있음을 시사하였다.