[논문 리뷰] Morphy: A Datamorphic Software Test Automation Tool

Hong Zhu, Ian Bayley외 2명|arXiv (Cornell University)|2019. 12. 20.

Software Testing and Debugging Techniques참고 문헌 24인용 수 6

한 줄 요약

이 논문은 소프트웨어 테스팅을 테스트 엔티티와 테스트 모르피즘(이들 엔티티에 대한 변환)의 조합으로 형식화하는 테스트 자동화 도구인 Morphy를 소개한다. 데이터모르피즘 조합을 통한 자동 테스트 생성, 실행 및 전략 조합을 가능하게 하여, 전통적 소프트웨어와 AI 응용 프로그램 모두에 대해 재사용 가능하고 조합 가능하며 스크립터블한 테스팅을 지원한다. 얼굴 인식을 포함한 세 가지 사례 연구를 통해 이를 입증하였다.

ABSTRACT

This paper presents an automated tool called Morphy for datamorphic testing. It classifies software test artefacts into test entities and test morphisms, which are mappings on testing entities. In addition to datamorphisms, metamorphisms and seed test case makers, Morphy also employs a set of other test morphisms including test case metrics and filters, test set metrics and filters, test result analysers and test executers to realise test automation. In particular, basic testing activities can be automated by invoking test morphisms. Test strategies can be realised as complex combinations of test morphisms. Test processes can be automated by recording, editing and playing test scripts that invoke test morphisms and strategies. Three types of test strategies have been implemented in Morphy: datamorphism combination strategies, cluster border exploration strategies and strategies for test set optimisation via genetic algorithms. This paper focuses on the datamorphism combination strategies by giving their definitions and implementation algorithms. The paper also illustrates their uses for testing both traditional software and AI applications with three case studies.

연구 동기 및 목표

• 기존 방법으로는 어려우며 비용이 많이 드는 AI 응용 프로그램의 테스팅 자동화 문제를 해결하기 위해.
• 시드 테스트 케이스 생성기, 데이터모를피즘, 메타모를피즘과 같은 테스트 컴포onent의 재사용성과 조합 가능성을 다양한 소프트웨어 프로젝트 간에 보장하기 위해.
• 모르피즘 호출로 구성된 테스트 스크립트의 기록, 편집 및 재생을 통해 전체 테스트 프로세스를 자동화할 수 있는 프레임워크를 제공하기 위해.
• 테스트 전략 조합 및 다양한 테스팅 기법의 통합을 지원하는 체계적인 도구로 데이터모를피즘 테스팅 패러다임을 확장하기 위해.
• 실제 사례 연구를 통해 기존 소프트웨어와 AI 기반 시스템 양쪽에 이 방법론의 적용 가능성을 입증하기 위해.

제안 방법

• 프레임워크는 테스트 자산을 테스트 엔티티(예: 테스트 케이스, 테스트 세트, 테스트 대상 프로그램)와 이 엔티티들 간의 사상(함수)인 테스트 모를피즘으로 분류한다.
• 테스트 모를피즘에는 시드 테스트 케이스 제작기, 데이터모를피즘(데이터 변환), 메타모를피즘(정확성 검증), 필터, 메트릭, 실행기와 같은 보조 모를피즘이 포함된다.
• 테스트 전략은 데이터모를피즘 조합 전략, 클러스터 경계 탐색, 유전 알고리즘 기반 테스트 세트 최적화를 포함한 모를피즘의 복합 조합으로 구현된다.
• GUI를 통해 모를피즘 및 전략 호출 시퀀스를 기록하고 재생함으로써 테스트 프로세스를 자동화하는 스크립트 기능을 통해 실행된다.
• 기존 테스팅 기법들—예: 퍼지 테스팅, 변형 테스팅, 조합 테스팅, 모델 기반 생성—은 모두 모를피즘으로 감싸서 통합된다.
• 모를피즘은 GUI 또는 스크립트를 통해 선언되고 실행되기 때문에 선언적 테스트 명세가 가능하며, 이는 고수준의 테스트 프로세스 자동화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 테스트 자산을 재사용 가능한 엔티티와 모를피즘으로 추상화함으로써, 다양한 소프트웨어 시스템, 특히 AI 응용 프로그램에 대해 테스트 자동화를 어떻게 일반화할 수 있는가?
• RQ2 테스트 모를피즘은 어떻게 조합되어 복잡한 테스트 전략을 만들 수 있으며, 이는 테스트 커버리지와 효과성을 향상시키는가?
• RQ3 모를피즘 및 전략 호출 시퀀스의 기록과 재생을 통해 테스트 프로세스는 어떻게 자동화될 수 있는가?
• RQ4 기존 테스팅 기법들이 얼마나 잘 모를피즘으로 래핑되어 통합된 테스트 프레임워크에 포함될 수 있는가?
• RQ5 데이터모를피즘 조합 전략은 기존 소프트웨어와 AI 기반 소프트웨어 모두에 대해 의미 있는 테스트 데이터를 생성하는 데 얼마나 효과적인가?

주요 결과

• Morphy는 GUI 기반의 모를피즘 호출을 통해 기본 테스트 활동을 성공적으로 자동화하여, 코드를 작성하지 않고도 전문가가 아닌 사용자도 테스팅을 수행할 수 있도록 한다.
• 도구는 모를피즘의 모듈식 조합을 통해 테스트 전략의 생성과 재사용을 지원하여, 테스트 코드의 재사용성과 조합 가능성을 향상시킨다.
• 인터랙티브 세션에서 기록된 테스트 스크립트를 통해 테스트 세트 관리, 실행, 결과 분석까지 전체 테스트 프로세스의 자동화가 가능하다.
• 데이터모를피즘 조합 전략은 삼각형 분류, 삼각함수, 얼굴 인식의 세 사례 연구에서 효과적으로 적용되어 다양한 도메인에서의 유용성을 입증하였다.
• Morphy에 기존 테스팅 기법들—예: 랜덤 테스팅, 변형 테스팅, 조합 테스팅—을 모를피즘으로 통합함으로써 통합적이고 확장 가능한 테스팅 환경을 제공한다.
• 얼굴 인식 사례 연구에서는 Morphy가 기존 테스트 데이터와 모를피즘을 효과적으로 활용하여 AI 모델의 동작을 검증하고, 회귀 테스트 및 품질 보증을 지원함을 보여주었다.