[论文解读] Adaptive Stress Testing: Finding Failure Events with Reinforcement Learning

Ritchie Lee, Ole J. Mengshoel+6 more|arXiv (Cornell University)|Nov 6, 2018

Formal Methods in Verification参考文献 25被引用 5

一句话总结

本文提出自适应压力测试（AST），一种基于强化学习的框架，用于识别在安全关键型、部分可观测且连续时间的系统（如自动驾驶汽车和飞机防撞系统）中最可能的故障场景。通过将问题建模为马尔可夫决策过程，并使用无需系统内部知识的基于模拟的优化方法，AST 能够高效发现高概率故障路径，其扩展版本（DAST）可实现对系统版本间差异的分析。

ABSTRACT

Finding the most likely path to a set of failure states is important to the analysis of safety-critical systems that operate over a sequence of time steps, such as aircraft collision avoidance systems and autonomous cars. In many applications such as autonomous driving, failures cannot be completely eliminated due to the complex stochastic environment in which the system operates. As a result, safety validation is not only concerned about whether a failure can occur, but also discovering which failures are most likely to occur. This article presents adaptive stress testing (AST), a framework for finding the most likely path to a failure event in simulation. We consider a general black box setting for partially observable and continuous-valued systems operating in an environment with stochastic disturbances. We formulate the problem as a Markov decision process and use reinforcement learning to optimize it. The approach is simulation-based and does not require internal knowledge of the system, making it suitable for black-box testing of large systems. We present formulations for fully observable and partially observable systems. In the latter case, we present a modified Monte Carlo tree search algorithm that only requires access to the pseudorandom number generator of the simulator to overcome partial observability. We also present an extension of the framework, called differential adaptive stress testing (DAST), that can find failures that occur in one system but not in another. This type of differential analysis is useful in applications such as regression testing, where we are concerned with finding areas of relative weakness compared to a baseline. We demonstrate the effectiveness of the approach on an aircraft collision avoidance application, where a prototype aircraft collision avoidance system is stress tested to find the most likely scenarios of near mid-air collision.

研究动机与目标

• 识别在随机、连续且部分可观测环境中运行的安全关键系统中最可能的故障路径。
• 开发一种基于模拟的黑盒测试框架，无需访问系统内部动力学或状态表示。
• 通过利用模拟器的伪随机数生成器，解决复杂系统中的部分可观测性问题，以实现有效探索。
• 将框架扩展用于差异分析，识别在某一系统中存在但在基线系统中不存在的故障，适用于回归测试。
• 在真实世界的飞机防撞系统上验证该方法，以证明其实际有效性。

提出的方法

• 在随机环境中将故障发现问题建模为时间步上的马尔可夫决策过程（MDP）。
• 应用强化学习以优化策略，实现向故障状态的导航，从而最大化故障发生的可能性。
• 对于部分可观测系统，使用改进的蒙特卡洛树搜索（MCTS），利用模拟器的伪随机数生成器来推断隐藏状态。
• 设计一种黑盒接口，仅需系统被测对象的观测和动作反馈，从而可应用于大型复杂系统。
• 引入差异自适应压力测试（DAST），通过比较两个系统版本来识别仅存在于新版本或修改后系统中的故障。
• 使用基于模拟的优化方法探索高影响故障场景，无需解析模型或系统内部信息。

实验结果

研究问题

• RQ1 在部分可观测、随机的安全关键系统中，导致故障的最可能的动作序列和环境条件是什么？
• RQ2 如何将强化学习应用于具有连续状态和动作空间的黑盒系统，以高效发现故障事件？
• RQ3 基于模拟的方法能否在不访问内部状态表示的情况下克服部分可观测性？
• RQ4 如何将 AST 扩展以检测两个系统版本之间故障敏感度的差异？
• RQ5 AST 在现实世界的安全关键应用中，能够在多大程度上识别出真实且高概率的故障场景？

主要发现

• AST 在原型飞机防撞系统中成功识别出高概率的近空中相撞场景，证明了其实际相关性。
• 该方法通过利用模拟器的伪随机数生成器推断隐藏状态，在部分可观测系统中有效发现了故障路径。
• DAST 成功检测到仅在修改后系统中出现但在基线系统中未出现的故障，支持了有效的回归测试。
• 该框架作为黑盒运行，无需系统内部知识，因此可适用于大型复杂系统（如自动驾驶汽车）。
• 通过强化学习聚焦于高概率故障路径的探索，该方法在性能上优于基线压力测试策略。
• 在飞机防撞系统上的实证结果表明，AST 能够发现传统测试方法此前未能检测到的故障场景。