[논문 리뷰] Continuous, Evolutionary and Large-Scale: A New Perspective for Automated Mobile App Testing

Mario Linares Vasquez, Kevin Moran외 1명|arXiv (Cornell University)|2018. 01. 19.

Green IT and Sustainability참고 문헌 42인용 수 16

한 줄 요약

이 논문은 세 가지 핵심 원칙인 지속적(Continuous), 진화적(Evolutionary), 대규모(Large-scale)를 바탕으로 자동화된 모바일 앱 테스팅을 위한 새로운 비전을 제안한다. 기존 도구에서 해결되지 않은 핵심 문제들—자동화된 오라클 부족, 테스트 케이스의 진화 부족, 확장성 부족—을 해결하기 위해 소스 코드 리포지터리, 사용자 리뷰, 실행 트레이스를 통합하여 실세계 개발 워크플로우에서 실용적이고 확장 가능하며 적응 가능한 테스팅을 가능하게 하는 완전 자동화된 테스팅 프레임워크를 구축하기 위한 연구 계획을 제시한다.

ABSTRACT

Mobile app development involves a unique set of challenges including device fragmentation and rapidly evolving platforms, making testing a difficult task. The design space for a comprehensive mobile testing strategy includes features, inputs, potential contextual app states, and large combinations of devices and underlying platforms. Therefore, automated testing is an essential activity of the development process. However, current state of the art of automated testing tools for mobile apps poses limitations that has driven a preference for manual testing in practice. As of today, there is no comprehensive automated solution for mobile testing that overcomes fundamental issues such as automated oracles, history awareness in test cases, or automated evolution of test cases. In this perspective paper we survey the current state of the art in terms of the frameworks, tools, and services available to developers to aid in mobile testing, highlighting present shortcomings. Next, we provide commentary on current key challenges that restrict the possibility of a comprehensive, effective, and practical automated testing solution. Finally, we offer our vision of a comprehensive mobile app testing framework, complete with research agenda, that is succinctly summarized along three principles: Continuous, Evolutionary and Large-scale (CEL).

연구 동기 및 목표

• 기기 분할, 플랫폼의 변화, 효과적인 자동화 부족 등의 도전 과제로 인해 수동 테스팅과 자동화 테스팅 사이에 지속적인 격차가 존재하는 문제를 해결한다.
• 기존 자동화 테스팅 도구의 근본적 한계—부적절한 자동화된 오라클, 낮은 테스트 케이스 진화 능력, 제한된 확장성—을 극복한다.
• 실세계 모바일 개발 워크플로우에서 애자일 및 지속적 통합 워크플로우를 지원하는 실용적이고 종합적인 자동화된 테스팅을 가능하게 한다.
• 소프트웨어 리포지터리, 사용자 리뷰, 런타임 실행 트레이스와 같은 다양한 데이터 소스를 통합하여 테스트 생성 및 피드백을 향상시킨다.
• 완전 자동화된, 확장 가능하며 유지보수 가능한 모바일 테스팅 생태계를 구축하기 위한 방향을 제시하는 연구 계획을 수립한다.

제안 방법

• 지속적(지속적 통합/배포에 통합), 진화적(자동 테스트 케이스 적응), 대규모(다양한 기기 및 플랫폼에 대한 지원)라는 세 원칙에 기반한 CEL 테스팅 프레임워크를 제안한다.
• 사용자 행동 모델과 테스트 입력을 도출하기 위해 개인정보 보호를 고려한 실행 트레이스 및 로그를 수집하는 플랫폼 아키텍처를 설계한다.
• 하이브리드 GUI 표현 방식(이미지 및 텍스트)과 플랫폼 전용 장애 모델을 활용해 확장 가능하고 정밀한 자동화된 오라클을 개발한다.
• 소프트웨어 리포지터리의 정적 및 동적 분석을 활용해 역사적 개발 패턴을 추출하고 테스팅 우선순위를 설정한다.
• 사용자 리뷰를 채굴하여 반복적인 문제를 식별하고, 실제 사용자가 보고한 버그를 바탕으로 타겟 테스트 케이스를 생성하거나 복귀 테스팅의 우선순위를 정한다.
• HCI에서 유래한 고급 시각화 및 피드백 메커니즘을 통합하여 개발자에게 실행 가능하고 맥락 기반의 풍부한 테스트 결과를 제공한다.

실험 결과

연구 질문

• RQ1 다양한 모바일 앱 유형과 플랫폼 간에 확장 가능하고 정밀하며 적응 가능한 자동화된 오라클을 어떻게 구현할 수 있는가?
• RQ2 앱 업데이트와 사용자 행동 변화에 대응하여 지속적이고 진화적인 테스트 케이스 유지 관리가 가능한 메커니즘은 무엇인가?
• RQ3 소프트웨어 리포지터리와 사용자 리뷰에서 유래한 데이터를 자동화된 테스트 생성 및 우선순위 정하기에 효과적으로 채굴하고 통합하는 방법은 무엇인가?
• RQ4 대규모, 기기 무관, 개인정보 보호를 고려한 테스트 실행 및 분석을 지원하기 위해 필요한 아키텍처 구성 요소는 무엇인가?
• RQ5 자동화된 테스팅의 피드백을 개발자에게 실행 가능하고 맥락적으로 의미 있는 방식으로 제시하는 방법은 무엇인가?

주요 결과

• 기존 자동화 테스팅 도구는 자동화된 오라클, 테스트 진화, 확장성 문제 해결이 되지 않아 완전 자동화된 경험을 제공하지 못한다.
• 기존 솔루션은 종종 정밀도와 종합성 부족으로 인해 화면 회전이나 이미지 비교와 같은 단순한 오라클에 의존한다.
• 소프트웨어 리포지터리와 사용자 리뷰를 채굴하면 고영향도 테스트 케이스 식별 및 복귀 테스팅 우선순위 정하기에 잠재력이 크다.
• 실제로 자동화 테스팅의 도입을 저해하는 요소로는 개발자에게 실행 가능한, 시각화된 피드백을 제공하는 도구의 부족이 뚜렷하다.
• 실행 트레이스, 코드 역사, 사용자 피드백을 통합하는 통합 플랫폼은 대규모이고 적응 가능한 테스팅을 가능하게 하기 위해 필수적이다.
• 제안된 CEL 프레임워크는 향후 연구를 이끄는 여섯 가지 핵심 주제를 포함한 체계적인 연구 계획을 제공하며, 완전 자동화된 실용적인 모바일 테스팅 생태계를 햖향한다.