[論文レビュー] Morphy: A Datamorphic Software Test Automation Tool

Hong Zhu, Ian Bayley+2 more|arXiv (Cornell University)|Dec 20, 2019

Software Testing and Debugging Techniques参考文献 24被引用数 6

ひとこと要約

本稿では、ソフトウェアテストをテストエンティティとテストモルフィズム（それらのエンティティ上の変換）の合成として形式化する、テスト自動化ツール「Morphy」を紹介する。データモルフィズムの組み合わせによる自動テスト生成、実行、および戦略の合成を可能にすることで、Morphyは従来のソフトウェアおよびAIアプリケーションの両方における再利用可能で合成可能でスクリプト可能なテストをサポートする。顔認識を含む3つの事例研究を通じてその有効性が示された。

ABSTRACT

This paper presents an automated tool called Morphy for datamorphic testing. It classifies software test artefacts into test entities and test morphisms, which are mappings on testing entities. In addition to datamorphisms, metamorphisms and seed test case makers, Morphy also employs a set of other test morphisms including test case metrics and filters, test set metrics and filters, test result analysers and test executers to realise test automation. In particular, basic testing activities can be automated by invoking test morphisms. Test strategies can be realised as complex combinations of test morphisms. Test processes can be automated by recording, editing and playing test scripts that invoke test morphisms and strategies. Three types of test strategies have been implemented in Morphy: datamorphism combination strategies, cluster border exploration strategies and strategies for test set optimisation via genetic algorithms. This paper focuses on the datamorphism combination strategies by giving their definitions and implementation algorithms. The paper also illustrates their uses for testing both traditional software and AI applications with three case studies.

研究の動機と目的

• AIアプリケーションのテストを自動化する挑戦に応えること。従来の手法では、これらは困難かつ高コストである。
• 種々のソフトウェアプロジェクト間で、シードテストケースジェネレータ、データモルフィズム、メタモルフィズムなどのテストコンポONENTの再利用性と合成可能性を可能にすること。
• モルフィズム呼び出しの構成されたテストスクリプトの記録、編集、再生を通じて、テストプロセス全体の自動化を可能にするフレームワークを提供すること。
• データモルフィックテストのパラダイムを、テスト戦略の合成と多様なテスト技法の統合を支援する構造化されたツールへと拡張すること。
• 実世界の事例研究を通じて、このアプローチが従来のソフトウェアおよびAIベースのシステムの両方への適用可能性を示すこと。

提案手法

• フレームワークは、テストアーティファクトをテストエンティティ（例：テストケース、テストスイート、テスト対象プログラム）とテストモルフィズム（エンティティ間の写像を定義する関数）に分類する。
• テストモルフィズムには、シードテストケースメーカー、データモルフィズム（データ変換）、メタモルフィズム（正しさのアサーション）、およびフィルタ、メトリクス、実行者などの補助的モルフィズムが含まれる。
• テスト戦略は、データモルフィズムの組み合わせ戦略、クラスタ境界探索、遺伝的アルゴリズムに基づくテストセット最適化を含む、モルフィズムの複合的合成として実装される。
• GUIを介したモルフィズムおよび戦略呼び出しのシーケンスの記録と再再生を通じて、テストプロセスを自動化するスクリプト機能が提供される。
• ファズィング、ミューテーションテスト、コンビナトリアルテスト、モデルベース生成といった既存のテスト技法は、それらをモルフィズムとしてラッピングすることで統合される。
• 実装は宣言的テスト仕様をサポートしており、モルフィズムはGUIまたはスクリプトを介して宣言され実行可能であり、高水準のテストプロセス自動化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 テストアーティファクトを再利用可能なエンティティとモルフィズムに抽象化することで、多様なソフトウェアシステム、特にAIアプリケーションにおいてテスト自動化をどのように一般化できるか？
• RQ2 テストモルフィズムをどのように合成することで、テストカバレッジと有効性を向上させる複雑なテスト戦略を構築できるか？
• RQ3 モルフィズムおよび戦略呼び出しのシーケンスの記録と再再生を通じて、テストプロセスをどのように自動化できるか？
• RQ4 既存のテスト技法がどの程度モルフィズムとしてカプセル化され、統一的なテストフレームワークに統合できるか？
• RQ5 データモルフィズムの組み合わせ戦略は、従来のソフトウェアおよびAIベースのソフトウェアの両方において、意味のあるテストデータを生成するのにどの程度有効か？

主な発見

• MorphyはGUIを介したテストモルフィズムの呼び出しにより、基本的なテスト活動を自動化し、コードを書かずにテストを実行できる非エキスパートユーザーを支援した。
• モルフィズムのモジュラー合成を通じてテスト戦略の作成と再利用が可能となり、テストコードの再利用性と合成可能性が向上した。
• インタラクティブセッションから記録されたテストスクリプトにより、テストセット管理、実行、結果分析を含むテストプロセスの完全な自動化が実現された。
• データモルフィズムの組み合わせ戦略は、三角形分類、三角関数、顔認識の3つの事例研究において効果的に適用され、多様な分野への有用性が示された。
• ランダムテスト、ミューテーションテスト、コンビナトリアルテストといった既存のテスト技法をMorphyにモルフィズムとして統合することで、統一的で拡張可能なテスト環境が実現された。
• 顔認識に関する事例研究では、Morphyが既存のテストデータとモルフィズムを効果的に活用してAIモデルの挙動を検証でき、レグレッションテストおよび品質保証を支援した。