[論文レビュー] Complete Test Suites for Input/Output Systems.

Adilson Luiz Bonifácio, Arnaldo Vieira Moura|arXiv (Cornell University)|Feb 7, 2019

Software Testing and Debugging Techniques被引用数 3

ひとこと要約

本稿は、I/Oラベル付き遷移システム（IOLTS）における一般化された適合関係を導入し、iocoを包含するものであり、有限で完全なテストセットの生成を可能にする。形式的な計算複雑性解析を伴うテスト生成メカニズムを提示しており、ioco完全性が特殊ケースであることを示し、さまざまな故障モデル制限下での完全なテストセットの生成にかかる計算コストを確立する。

ABSTRACT

Model based testing is a well-established approach to verify implementations modeled by I/O labeled transition systems (IOLTSs). One of the challenges stemming from model based testing is the conformance checking and the generation of test suites, specially when completeness is a required property. In order to check whether an implementation under test is in compliance with its respective specification one resorts to some form of conformance relation that guarantees the expected behavior of the implementations, given the behavior of the specification. The ioco conformance relation is an example of such a relation, specially suited for asynchronous models. In this work we study a more general conformance relation, show how to generate finite and complete test suites, and discuss the complexity of the test generation mechanism under this more general conformance relation. We also show that ioco conformance is a special case of this new conformance relation, and we investigate the complexity of classical ioco-complete test suites. Further, we relate our contributions to more recent works, accommodating the restrictions of their classes of fault models within our more general approach as special cases, and expose the complexity of generating any complete test suite that must satisfy their restrictions.

研究の動機と目的

• I/Oシステムの適合検証における完全かつ有限なテストセットの生成という課題に取り組む。
• 特に非同期モデルにおいてiocoなどの既存の関係を包含する、より一般化された適合関係を定義する。
• 新しい適合関係下でのテストセット生成の計算複雑性を分析する。
• 制限付き故障モデルに関する先行研究を統一的かつより一般化された枠組みに統合・関連付ける。
• 最近の故障モデルクラスからの制約を満たす完全なテストセットを生成する際の計算複雑性を確立する。

提案手法

• IOLTSにおけるより広範な行動的同値性チェックを可能にするように拡張された、iocoを一般化した適合関係を提案する。
• 新しい適合関係に基づく体系的なテスト生成メカニズムを開発し、完全性と有限性を保証する。
• 提案された関係下でのテストセット生成の計算複雑性を特定するために形式的解析を適用する。
• 構造的および行動的同値性の証明を通じて、ioco適合が新しい関係の特殊ケースであることを示す。
• 最近の故障モデルからの制約を、一般化されたフレームワークのインスタンスとして示すことで調和を図る。
• IOLTSの意味論と遷移系解析を用いて、すべての観察可能な動作をカバーするテストケースを導出する。

実験結果

リサーチクエスチョン

• RQ1 I/Oシステムに対して、iocoを一般化するより一般的な適合関係をどのように定義できるか？
• RQ2 新しい適合関係下で、完全かつ有限なテストセットを生成する際の計算複雑性は何か？
• RQ3 ioco適合が、提案された一般化された関係の特殊ケースとしてどのように現れるか？
• RQ4 最近の故障モデルクラスからの制約は、提案された一般化されたフレームワークとどのように関係するか？
• RQ5 過去の故障モデルクラスの制約を満たす完全なテストセットを生成する際の計算複雑性は何か？

主な発見

• 提案された適合関係はiocoを一般化し、非同期IOLTSの完全なテストセット生成を可能にする。
• 新しい適合関係下でも、有限で完全なテストセットを生成するテスト生成メカニズムが得られる。
• 新しい関係下でのテストセット生成の計算複雑性が形式的に解析され、特徴づけられている。
• ioco適合が、提案された一般化された適合関係の特殊ケースであることが証明されている。
• ioco完全テストセットの生成の複雑性は、広範な解析の一部として確立されている。
• 最近の故障モデルクラスからの制約は、一般化されたフレームワークのインスタンスであることが示され、それらのテストセット生成の複雑性もそれに従って導出されている。