[論文レビュー] Metamorphic Testing: A New Approach for Generating Next Test Cases

Tsong Yueh Chen, Shing-Chi Cheung+1 more|arXiv (Cornell University)|Feb 28, 2020

Software Testing and Debugging Techniques被引用数 461

ひとこと要約

成功例から新しいテストケースを導出するためにメタモルフィックテストを導入し、隠れたソフトウェアのエラーを発見し、完全なテストオラクルがなくても動作する。

ABSTRACT

In software testing, a set of test cases is constructed according to some predefined selection criteria. The software is then examined against these test cases. Three interesting observations have been made on the current artifacts of software testing. Firstly, an error-revealing test case is considered useful while a successful test case which does not reveal software errors is usually not further investigated. Whether these successful test cases still contain useful information for revealing software errors has not been properly studied. Secondly, no matter how extensive the testing has been conducted in the development phase, errors may still exist in the software [5]. These errors, if left undetected, may eventually cause damage to the production system. The study of techniques for uncovering software errors in the production phase is seldom addressed in the literature. Thirdly, as indicated by Weyuker in [6], the availability of test oracles is pragmatically unattainable in most situations. However, the availability of test oracles is generally assumed in conventional software testing techniques. In this paper, we propose a novel test case selection technique that derives new test cases from the successful ones. The selection aims at revealing software errors that are possibly left undetected in successful test cases which may be generated using some existing strategies. As such, the proposed technique augments the effectiveness of existing test selection strategies. The technique also helps uncover software errors in the production phase and can be used in the absence of test oracles.

研究の動機と目的

• 従来のテストケース選択の限界と、成功したテストケースを再利用する価値を動機づける。
• 検出されていないエラーを露出させることを目的として新しいテストケースを導出する技術として、メタモルフィックテストを提案する。
• メタモルフィックテストが既存のテスト選択戦略を補強し、本番フェーズのエラー検出を支援する方法を示す。
• 多くの実践的な状況で信頼できるテストオラクルが欠如していることに対処する。

提案手法

• 成功したテストケースから新しいテストケースを導出する手法としてメタモルフィックテストを説明する。
• メタモルフィック関係がフォローアップのテストケースの生成をどのように導くかを説明する。
• このアプローチが既存のテスト戦略を補完し、テストオラクルが利用できない場合にも機能できることを主張する。
• 従来のテストで見逃される可能性のあるエラーを明らかにする手段としてメタモルフィックテストを位置づける。

実験結果

リサーチクエスチョン

• RQ1 成功したものから新しいテストケースをどのように生成して隠れたエラーを露呈できるか？
• RQ2 メタモルフィックテストは従来のテスト選択戦略を補強できるか？
• RQ3 テストオラクルが欠如している場合に、本番フェーズのエラー検出においてメタモルフィックテストはどのように役立つか？

主な発見

• メタモルフィックテストは、成功したテストから追加のテストケースを導出し、既存の戦略で明られなかったエラーを露呈する。
• この手法は、既存のテスト選択アプローチの有効性を補完・強化する。
• テストオラクルがしばしば利用できない本番フェーズでのエラー検出の実用的なアプローチを提供する。