[论文解读] Black-Box Safety Validation of Autonomous Systems: A Multi-Fidelity Reinforcement Learning Approach

Jared Beard, Ali Baheri|arXiv (Cornell University)|Mar 7, 2022

Software Reliability and Analysis Research被引用 4

一句话总结

本文提出了一种多保真度强化学习方法 MF-RL-falsify，通过在决策过程中整合模型知识（采用“知道它知道什么”（KWIK）框架），提升了自动驾驶系统的安全性验证。该方法通过在低保真度和高保真度仿真器之间实现双向知识迁移，并采用基于知识的探索策略，使每一样本的故障发现效率相比单保真度方法最高提升6倍，同时显著减少高保真度采样次数，并在早期阶段改善了探索效率。

ABSTRACT

The increasing use of autonomous and semi-autonomous agents in society has made it crucial to validate their safety. However, the complex scenarios in which they are used may make formal verification impossible. To address this challenge, simulation-based safety validation is employed to test the complex system. Recent approaches using reinforcement learning are prone to excessive exploitation of known failures and a lack of coverage in the space of failures. To address this limitation, a type of Markov decision process called the "knowledge MDP" has been defined. This approach takes into account both the learned model and its metadata, such as sample counts, in estimating the system's knowledge through the "knows what it knows" framework. A novel algorithm that extends bidirectional learning to multiple fidelities of simulators has been developed to solve the safety validation problem. The effectiveness of this approach is demonstrated through a case study in which an adversary is trained to intercept a test model in a grid-world environment. Monte Carlo trials compare the sample efficiency of the proposed algorithm to learning with a single-fidelity simulator and show the importance of incorporating knowledge about learned models into the decision-making process.

研究动机与目标

• 为解决单保真度强化学习在安全性验证中的局限性，即罕见故障常被遗漏，且高保真度仿真计算成本高昂。
• 通过在双向学习框架中利用多种仿真保真度，提升故障发现的样本效率。
• 使用“知道它知道什么”（KWIK）框架，将模型知识（如样本计数和不确定性）整合到决策过程中。
• 在减少对高保真度仿真依赖的同时，通过基于知识的探索最大化故障覆盖范围。
• 开发一种可扩展的知识增强型强化学习算法，在早期和全面的故障检测方面优于标准的单保真度方法。

提出的方法

• 提出一种新型知识马尔可夫决策过程（KMDP），显式建模系统动态以及智能体对其模型的知识，包括样本计数等元数据。
• 采用双向学习机制，在低保真度和高保真度仿真器之间双向传递知识，提升样本效率。
• 利用“知道它知道什么”（KWIK）框架估计模型不确定性并引导探索，防止过早收敛。
• 基于每一样本的知识增益，采用边际更新机制动态调整探索策略，尤其在模型估计未充分采样时效果显著。
• 利用值迭代求解KMDP，优化对抗性策略以实现故障发现，重点在于最小化高保真度仿真使用。
• 通过蒙特卡洛试验，在多个指标（包括故障发现率和样本效率）上对比多保真度方法（MF-RL-falsify）与单保真度基线。

实验结果

研究问题

• RQ1 通过KWIK框架整合模型知识在多保真度安全性验证中如何改善探索与故障发现？
• RQ2 低保真度与高保真度仿真器之间的双向知识迁移对样本效率和故障覆盖范围有何影响？
• RQ3 边际更新机制如何影响探索，特别是在学习的早期和收敛阶段？
• RQ4 MF-RL-falsify 算法在保持或提升故障检测性能的同时，能在多大程度上减少所需高保真度样本数量？
• RQ5 在初始学习阶段，多保真度方法与单保真度强化学习在每一样本的故障发现能力方面有何差异？

主要发现

• MF-RL-falsify 算法在早期训练阶段的故障发现效率相比单保真度基线最高提升6倍。
• 收敛所需的高保真度与低保真度样本比例低于0.4，表明高保真度仿真使用量显著减少。
• 采用 R_inc = 5 的边际更新机制，可在极少高保真度采样下使故障发现量提升最多15%，证明在未充分采样区域的探索能力显著增强。
• 多保真度方法比单保真度方法更早发现故障，后者在早期阶段浪费了大量高保真度样本在低效探索上。
• 收敛后，两种方法的样本累积速率相似，但 MF 方法在整个学习过程中始终保持每一样本更高的故障发现优势。
• 引入基于知识的更新机制可防止过早收敛，持续维持探索能力，尤其在复杂或罕见故障场景中更具优势。