[논문 리뷰] Metamorphic Testing: A New Approach for Generating Next Test Cases

Tsong Yueh Chen, Shing-Chi Cheung외 1명|arXiv (Cornell University)|2020. 02. 28.

Software Testing and Debugging Techniques인용 수 461

한 줄 요약

성공적인 테스트로부터 새로운 테스트 케이스를 도출하여 숨겨진 소프트웨어 오류를 발견하고 완전한 테스트 오라클 없이도 작동하는 메타모픽 테스트를 소개한다.

ABSTRACT

In software testing, a set of test cases is constructed according to some predefined selection criteria. The software is then examined against these test cases. Three interesting observations have been made on the current artifacts of software testing. Firstly, an error-revealing test case is considered useful while a successful test case which does not reveal software errors is usually not further investigated. Whether these successful test cases still contain useful information for revealing software errors has not been properly studied. Secondly, no matter how extensive the testing has been conducted in the development phase, errors may still exist in the software [5]. These errors, if left undetected, may eventually cause damage to the production system. The study of techniques for uncovering software errors in the production phase is seldom addressed in the literature. Thirdly, as indicated by Weyuker in [6], the availability of test oracles is pragmatically unattainable in most situations. However, the availability of test oracles is generally assumed in conventional software testing techniques. In this paper, we propose a novel test case selection technique that derives new test cases from the successful ones. The selection aims at revealing software errors that are possibly left undetected in successful test cases which may be generated using some existing strategies. As such, the proposed technique augments the effectiveness of existing test selection strategies. The technique also helps uncover software errors in the production phase and can be used in the absence of test oracles.

연구 동기 및 목표

• 전통적인 테스트 케이스 선택의 한계와 성공적인 테스트 케이스 재사용의 가치에 주목한다.
• 검출되지 않은 오류를 드러내기 위한 새로운 테스트 케이스를 도출하는 기법으로 메타모픽 테스트를 제안한다.
• 메타모픽 테스트가 기존의 테스트 선택 전략을 보강하고 생산 단계의 오류 탐지를 지원하는 방식을 보여준다.
• 많은 실제 상황에서 신뢰할 수 있는 테스트 오라클의 부재를 다룬다.

제안 방법

• 성공적인 테스트로부터 새로운 테스트 케이스를 도출하는 것으로 메타모픽 테스트를 설명한다.
• 메타모픽 관계가 후속 테스트 케이스 생성을 어떻게 안내하는지 설명한다.
• 이 접근 방식이 기존의 테스트 전략을 보강하고 테스트 오라클이 이용 불가한 경우에도 작동할 수 있음을 주장한다.
• 전통적 테스트에서 놓칠 수 있는 오류를 드러내는 수단으로 메타모픽 테스트를 위치시킨다.

실험 결과

연구 질문

• RQ1 성공적인 테스트로부터 새로운 테스트 케이스를 어떻게 도출하여 숨겨진 오류를 드러낼 수 있는가?
• RQ2 메타모픽 테스트가 전통적인 테스트 선택 전략을 보강할 수 있는가?
• RQ3 테스트 오라클이 부재한 상태에서 생산 단계의 오류 탐지에 메타모픽 테스트가 어떤 도움을 주는가?

주요 결과

• 메타모픽 테스트는 성공적인 테스트로부터 추가적인 테스트 케이스를 도출하여 기존 전략에서 드러나지 않는 오류를 발견한다.
• 이 기법은 기존의 테스트 선택 방식의 효과를 보완하고 향상시킨다.
• 테스트 오라클이 종종 이용 불가한 생산 단계에서의 오류 탐지를 위한 실용적인 접근 방식을 제공한다.