[论文解读] Complete Test Suites for Input/Output Systems.

Adilson Luiz Bonifácio, Arnaldo Vieira Moura|arXiv (Cornell University)|Feb 7, 2019

Software Testing and Debugging Techniques被引用 3

一句话总结

本文提出了一种适用于I/O标记转换系统（IOLTSs）的广义一致性关系，该关系涵盖了ioco并支持生成有限且完整的测试套件。论文提出了一个具有形式化复杂度分析的测试生成机制，表明ioco完备性是其特例，并确定了在各种故障模型限制下生成完整测试套件的计算成本。

ABSTRACT

Model based testing is a well-established approach to verify implementations modeled by I/O labeled transition systems (IOLTSs). One of the challenges stemming from model based testing is the conformance checking and the generation of test suites, specially when completeness is a required property. In order to check whether an implementation under test is in compliance with its respective specification one resorts to some form of conformance relation that guarantees the expected behavior of the implementations, given the behavior of the specification. The ioco conformance relation is an example of such a relation, specially suited for asynchronous models. In this work we study a more general conformance relation, show how to generate finite and complete test suites, and discuss the complexity of the test generation mechanism under this more general conformance relation. We also show that ioco conformance is a special case of this new conformance relation, and we investigate the complexity of classical ioco-complete test suites. Further, we relate our contributions to more recent works, accommodating the restrictions of their classes of fault models within our more general approach as special cases, and expose the complexity of generating any complete test suite that must satisfy their restrictions.

研究动机与目标

• 为在一致性检查下生成I/O系统的完整且有限的测试套件提供解决方案。
• 定义一种更广义的一致性关系，以涵盖如ioco等现有关系，尤其适用于异步模型。
• 分析在新一致性关系下测试套件生成的计算复杂度及其特例。
• 在统一且更广义的框架下整合并关联先前关于受限故障模型的研究工作。
• 确定满足近期故障模型类别约束的完整测试套件的生成复杂度。

提出的方法

• 提出一种广义的一致性关系，通过在IOLTS中允许更广泛的行为等价性检查，扩展了ioco。
• 基于新一致性关系，开发了一套系统化的测试生成机制，以确保测试套件的完整性和有限性。
• 应用形式化分析，确定在所提关系下测试套件生成的计算复杂度。
• 通过结构等价性和行为等价性证明，表明ioco一致性是新关系的特例。
• 通过展示近期故障模型的限制是广义框架的实例，实现对这些限制的调和。
• 利用IOLTS语义和转换系统分析，推导出覆盖所有可观测行为的测试用例。

实验结果

研究问题

• RQ1 如何为I/O系统定义一种更广义的一致性关系，使其能推广ioco？
• RQ2 在新一致性关系下，生成完整且有限测试套件的计算复杂度是多少？
• RQ3 ioco一致性以何种方式成为所提广义关系的特例？
• RQ4 近期故障模型类别中的限制与所提广义框架有何关联？
• RQ5 生成满足先前故障模型类别约束的完整测试套件的复杂度是多少？

主要发现

• 所提出的共识关系广义化了ioco，支持对异步IOLTS生成完整测试套件。
• 在新共识关系下，测试生成机制可生成有限且完整的测试套件。
• 在新关系下，测试套件生成的计算复杂度已通过形式化分析并明确表征。
• 已证明ioco一致性是所提广义共识关系的特例。
• 作为更广泛分析的一部分，已确立生成ioco完备测试套件的复杂度。
• 近期故障模型类别中的限制被证明是广义框架的实例，其测试套件生成复杂度也相应推导得出。