[论文解读] About Instruction Sequence Testing

J.A. Bergstra|arXiv (Cornell University)|Jan 18, 2012

Software Testing and Debugging Techniques参考文献 24被引用 3

一句话总结

本文提出构建指令序列测试（polinseq测试）的形式化理论，作为软件测试的基础模型，采用多子指令序列（polinseq）作为程序的最小计算抽象。通过聚焦精确的操作语义、性能度量以及通过执行实现的故障检测，旨在提供一个稳定、数学基础坚实的框架，避免传统软件测试中概念上的模糊性。

ABSTRACT

Software testing is presented as a so-called theme within which different authors and groups have defined different subjects each of these subjects having a different focus on testing. A uniform concept of software testing is non-existent and the space of possible coherent perspectives on software testing, each fitting within the theme, is viewed as being spanned by five dimensions, each dimension representing two opposite views with a variety of intermediate views in between. Instruction sequences are used as a simple theoretical conceptualization of computer programs. A theory of instruction sequence testing may serve as a model for a theory of software testing. Instruction sequences testing is considered a new topic for which definitions may be freely contemplated without being restricted by existing views on software testing. The problem of developing a theory of instruction sequence testing is posed. A survey is given of motivations and scenarios for developing a theory of instruction sequence testing.

研究动机与目标

• 为解决软件测试领域缺乏连贯、统一的理论框架的问题，该领域目前仍分散在相互竞争的定义和视角之中。
• 提出指令序列测试（特别是 polinseq 测试）作为一种新的、极简的理论模型，可作为更广泛软件测试理论的原型。
• 通过将测试建立在可执行、形式化的指令序列及其精确语义之上，克服现有软件测试定义中的概念混淆。
• 建立一个稳定、可数学形式化的测试框架，独立于编程语言趋势或实现细节。
• 探索 polinseq 测试理论是否可作为程序测试的可行模型，为当前方法缺乏清晰性和精确性的问题提供明确与严谨的解决方案。

提出的方法

• 使用多子指令序列（polinseqs）作为程序的最小、形式化的表示，抽象掉传统编程语法。
• 将测试定义为执行一个 polinseq 以检测故障，基于操作语义和性能约束。
• 引入精确的性能概念，如最大内部延迟和有界步数执行，以建模现实世界中的测试约束。
• 结合投影语义与操作语义，定义故障与可观测故障之间清晰的因果关系。
• 采用两阶段方法：首先进行“朴素 polinseq 测试”以获得实用直觉，然后基于此经验完善定义。
• 以数学风格形式化测试概念，不依赖现有编程记号，确保理论稳定性并脱离语法趋势的影响。

实验结果

研究问题

• RQ1 能否在更广泛领域尚未统一定义的前提下，发展出一种形式化的指令序列测试理论，使其成为软件测试的连贯模型？
• RQ2 如何正式定义并整合诸如最大内部延迟和有界执行步数等性能度量，以构建指令序列测试框架？
• RQ3 polinseq 测试理论在多大程度上可提供一种稳定、数学基础坚实的替代方案，以取代当前零散且依赖上下文的软件测试定义？
• RQ4 在获得实际的朴素测试经验之前，是否合理且有益地发展 polinseq 测试的理论定义？或者实践经验是否为必要前提？
• RQ5 如何结合 polinseq 的操作语义与投影语义，以精确建模测试中的故障检测与故障因果关系？

主要发现

• 可以发展出指令序列测试（polinseq 测试）的理论，作为软件测试的基础模型，为当前领域内概念混乱提供形式化、数学稳定的替代方案。
• 诸如最大内部延迟和有界步数执行等精确性能概念，可在 polinseq 框架内被正式定义并实现，从而支持底层性能测试。
• 投影语义与操作语义的结合，使得每个 polinseq 都具有清晰的操作语义，有助于对故障-失败关系进行精确分析。
• 朴素 polinseq 测试——即在缺乏先验理论框架下进行的实践性实验——不仅合理，而且可能作为正式定义前的准备步骤而具有潜在价值。
• 本文结论认为，尽管形式化的 polinseq 测试理论既可能实现也值得推进，但应以实践经验为指导，尽管不必然依赖它。
• 所提出的框架避免依赖编程语言语法，使其能抵御编程范式的变化，确保长期的理论稳定性。