[论文解读] A Survey of Algorithms for Black-Box Safety Validation.

Anthony Corso, Robert J. Moss+3 more|arXiv (Cornell University)|May 6, 2020

Software Testing and Debugging Techniques参考文献 90被引用 40

一句话总结

本文综述了在安全关键型自主系统中用于黑箱安全验证的最先进算法，重点涵盖优化、强化学习、路径规划和重要性采样技术，以实现复杂系统中高效 falsification（ falsification 指失效验证）、故障模式识别和故障概率估计。在形式化验证不可行且真实世界测试过于危险的情况下，这些技术具有重要意义。

ABSTRACT

Autonomous and semi-autonomous systems for safety-critical applications require rigorous testing before deployment. Due to the complexity of these systems, formal verification may be impossible and real-world testing may be dangerous during development. Therefore, simulation-based techniques have been developed that treat the system under test as a black box during testing. Safety validation tasks include finding disturbances to the system that cause it to fail (falsification), finding the most-likely failure, and estimating the probability that the system fails. Motivated by the prevalence of safety-critical artificial intelligence, this work provides a survey of state-of-the-art safety validation techniques with a focus on applied algorithms and their modifications for the safety validation problem. We present and discuss algorithms in the domains of optimization, path planning, reinforcement learning, and importance sampling. Problem decomposition techniques are presented to help scale algorithms to large state spaces, and a brief overview of safety-critical applications is given, including autonomous vehicles and aircraft collision avoidance systems. Finally, we present a survey of existing academic and commercially available safety validation tools.

研究动机与目标

• 解决在形式化验证不可行且真实世界测试过于危险的安全关键型自主系统验证挑战。
• 提供针对黑箱安全验证量身定制的应用算法的全面综述，强调实用技术而非理论形式化。
• 通过问题分解技术实现可扩展的安全验证，以应对大规模状态空间。
• 综述学术界与工业界的工具，以支持研究人员和实践者选择合适的验证框架。
• 聚焦自动驾驶汽车和飞机防撞系统等实际应用场景，使理论方法与实际背景紧密结合。

提出的方法

• 采用基于优化的技术，搜索能触发系统故障的对抗性输入，将待测系统视为黑箱。
• 集成路径规划算法，以高效且系统化的方式探索复杂且高维的输入空间。
• 利用强化学习，学习能最大化故障发生可能性的对抗性策略，同时受限于探索范围。
• 应用重要性采样技术，通过聚焦于罕见但关键的故障事件，提升故障概率估计的统计效率。
• 采用问题分解策略，如状态空间划分和模块化设计，以将验证算法扩展至大规模复杂系统。
• 整合多种算法族（优化、强化学习、路径规划、重要性采样），以增强安全验证的鲁棒性和覆盖范围。

实验结果

研究问题

• RQ1 在安全关键型系统中，哪些算法族在黑箱安全验证方面最为有效？
• RQ2 优化和强化学习如何被调整以高效探索高维输入空间，以发现潜在故障？
• RQ3 路径规划和重要性采样在提升故障概率估计的效率和准确性方面发挥什么作用？
• RQ4 如何利用问题分解技术将安全验证扩展至大规模状态空间？
• RQ5 当前工具链存在哪些缺口？现有学术与工业工具如何支持或限制实际安全验证？

主要发现

• 基于优化的方法，特别是使用无梯度或进化策略的方法，在通过识别触发系统故障的对抗性输入方面非常有效。
• 强化学习方法能够学习对抗性策略，系统性地探索复杂环境中引发故障的行为。
• 重要性采样显著提升了故障概率估计的统计效率，通过聚焦于罕见但高影响的故障场景。
• 状态空间抽象和模块化验证等问题分解技术，使大规模系统中高维输入的可扩展性验证成为可能。
• 存在一系列学术与工业工具用于安全验证，但在工具互操作性、自动化以及对实时或嵌入式系统验证的支持方面仍存在显著缺口。
• 整合多种算法族——优化、强化学习、路径规划和重要性采样——相比单一方法，能带来更鲁棒、更全面的安全验证。