[论文解读] Part-X: A Family of Stochastic Algorithms for Search-Based Test Generation with Probabilistic Guarantees

Giulia Pedrielli, Tanmay Khandait+5 more|arXiv (Cornell University)|Oct 20, 2021

Software Testing and Debugging Techniques被引用 5

一句话总结

Part-X 提出了一类用于网络物理系统搜索式测试生成的随机算法族，可对破坏性输入的存在性提供概率保证。通过自适应地划分输入空间并使用高斯过程估计鲁棒性分布，Part-X 限制了破坏性验证的概率，并识别出可能出现违规的区域，从而在有限时间内实现具有统计置信度的安全性评估。

ABSTRACT

Requirements driven search-based testing (also known as falsification) has proven to be a practical and effective method for discovering erroneous behaviors in Cyber-Physical Systems. Despite the constant improvements on the performance and applicability of falsification methods, they all share a common characteristic. Namely, they are best-effort methods which do not provide any guarantees on the absence of erroneous behaviors (falsifiers) when the testing budget is exhausted. The absence of finite time guarantees is a major limitation which prevents falsification methods from being utilized in certification procedures. In this paper, we address the finite-time guarantees problem by developing a new stochastic algorithm. Our proposed algorithm not only estimates (bounds) the probability that falsifying behaviors exist, but also it identifies the regions where these falsifying behaviors may occur. We demonstrate the applicability of our approach on standard benchmark functions from the optimization literature and on the F16 benchmark problem.

研究动机与目标

• 为解决现有搜索式测试生成方法缺乏有限时间保证的问题，这些方法即使耗尽测试预算也无法得出安全性结论。
• 开发一种框架，用于估计网络物理系统输入空间中存在破坏性行为的概率。
• 将输入空间划分为违规、满足和不确定区域，并量化不确定性。
• 通过提供破坏性输入可能性的概率边界，实现安全性认证，即使未发现破坏性输入也成立。

提出的方法

• Part-X 使用输入空间的自适应划分，将子区域中的鲁棒性函数零水平集局部化。
• 在每个划分区域中使用局部高斯过程模型，估计未采样区域的鲁棒性函数。
• 该算法在每次迭代中保持分类误差的概率边界，确保对破坏性输入体积估计的置信度。
• 采样由不确定性和预期破坏性概率引导，集中于最可能包含破坏性输入的区域。
• 将贝叶斯优化原理与统计学习相结合，平衡搜索空间中的探索与利用。
• 该方法通过分位数计算破坏性输入体积，作为破坏性输入存在的概率估计。

Figure 1: An overview of the Part-X algorithm.

实验结果

研究问题

• RQ1 当在给定测试预算内未找到破坏性输入时，我们能否为网络物理系统中破坏性输入的存在性提供有限时间的概率保证？
• RQ2 即使未检测到违规行为，我们如何估计破坏性行为存在于输入空间中的概率？
• RQ3 我们能否识别出破坏性行为最可能发生的具体输入子区域，从而实现针对性测试或设计加固？
• RQ4 在有限次仿真下，如何以高置信度对破坏性输入体积估计的误差进行边界限定？

主要发现

• 在 2300 英尺高度的 F-16 基准测试中，Part-X 检测到非零的破坏性输入体积（例如，q=0.95 时为 9.26×10⁻⁶），表明存在高概率的破坏性输入。
• 在 2350 英尺高度时，破坏性输入体积的估计结果不明确（区间包含零），表明系统可能安全，但存在不确定性，需进一步采样。
• Part-X 在输入空间中成功识别出破坏性区域，如图 7a 的划分结果所示，有助于针对性调试。
• 与均匀随机采样相比，该算法获得了更低的破坏性输入体积估计值，表明在检测破坏性区域方面效率更高。
• 在非破坏性运行中（例如，H₀=2350），Part-X 仍为破坏性输入分配了正概率，反映出不确定性而非错误的信心。
• 该方法提供了分类误差的概率边界，使得在每次迭代中对破坏性输入体积估计具有统计置信度。

Figure 2: An example of partitioning tree generated by Part-X at iteration $k=3$ . Subregions in red are classified as violating, those in green are satisfying, the orange region is being reclassified from violating to remaining (it would be light green if remaining from satisfying).