[论文解读] Certifiable Deep Importance Sampling for Rare-Event Simulation of Black-Box Systems

Mansur Arief, Yuanlu Bai+5 more|arXiv (Cornell University)|Nov 3, 2021

Probability and Risk Models参考文献 85被引用 4

一句话总结

本文提出 Deep-PrAE，一种结合深度神经网络分类器与主导点理论的可认证重要性采样框架，用于黑箱系统中的罕见事件仿真。该方法提供宽松的效率证书，确保可靠、低方差的估计，且不会出现未被检测到的低估情况，在自动驾驶等安全关键型 AI 系统中，其在准确性、速度和鲁棒性方面优于通用方法。

ABSTRACT

Rare-event simulation techniques, such as importance sampling (IS), constitute powerful tools to speed up challenging estimation of rare catastrophic events. These techniques often leverage the knowledge and analysis on underlying system structures to endow desirable efficiency guarantees. However, black-box problems, especially those arising from recent safety-critical applications of AI-driven physical systems, can fundamentally undermine their efficiency guarantees and lead to dangerous under-estimation without diagnostically detected. We propose a framework called Deep Probabilistic Accelerated Evaluation (Deep-PrAE) to design statistically guaranteed IS, by converting black-box samplers that are versatile but could lack guarantees, into one with what we call a relaxed efficiency certificate that allows accurate estimation of bounds on the rare-event probability. We present the theory of Deep-PrAE that combines the dominating point concept with rare-event set learning via deep neural network classifiers, and demonstrate its effectiveness in numerical examples including the safety-testing of intelligent driving algorithms.

研究动机与目标

• 为解决黑箱系统罕见事件仿真中未被检测到的低估问题，特别是在安全关键型 AI 驱动的物理系统中的关键风险。
• 开发一种方差缩减方法，提供理论上的效率保证，且无需系统内部结构的完整解析知识。
• 设计一种框架，将通用的、无保证的方法转化为具有统计严格性能边界的版本。
• 确保罕见事件概率估计既准确又可诊断验证，避免缺乏理论验证的实证方法所导致的陷阱。

提出的方法

• 利用深度神经网络分类器学习罕见事件集合的边界，实现无需显式系统建模即可高效识别罕见事件样本。
• 提出基于主导点概念的宽松效率证书，即使在黑箱环境下也能提供估计误差的理论边界。
• 采用两阶段框架：第一阶段利用分类器预测引导采样朝向罕见事件边界；第二阶段应用重要性采样，并通过主导点校准分布。
• 采用正交单调性作为结构假设，以确保理论保证，从而推导出罕见事件概率的上下界。
• 应用累积生成函数的勒让德变换以识别主导点，指导高效重要性采样分布的构建。
• 在阶段之间实施迭代或自适应采样方案，以提升样本质量并降低主导点搜索的计算成本。

实验结果

研究问题

• RQ1 我们能否设计一种适用于黑箱系统的罕见事件仿真方法，提供理论效率保证，且无需完整系统模型知识？
• RQ2 如何检测并防止通用罕见事件仿真方法（如交叉熵法或自适应多重分裂法）中未被检测到的低估？
• RQ3 正交单调性假设在实现黑箱罕见事件估计理论保证中起到何种作用？
• RQ4 深度学习分类器在高维复杂系统中，能在多大程度上提升罕见事件仿真的效率与准确性？
• RQ5 我们能否构建一种框架，在保持计算可行性的同时，提供紧密边界与低相对误差的罕见事件概率估计？

主要发现

• Deep-PrAE 在罕见事件概率上的边界显著优于最先进方法 LL，其上界估计值为 $10^{-2}$，而 LL 为 $10^{-6}$。
• 在所有测试场景中，Deep-PrAE 的相对误差（RE）比 LL 低三倍，证明其估计效率更优。
• Deep-PrAE 在 $ ho=1$ 时仅需 42 个主导点，而 LL 需 5,644 个，使搜索时间减少四倍。
• 通用方法如 CE Naive 和 AMS 虽结果稳定但存在低估，经 Deep-PrAE 的更紧边界验证，表明这些方法中存在隐藏的统计误差。
• 朴素蒙特卡洛方法在任何情况下均未产生命中结果，估计需 3.7 个月才能达到 1% 相对误差，而 Deep-PrAE 仅用 1,000 次仿真和约 400 秒即达成相同目标。
• 在自动驾驶安全验证中，Deep-PrAE 可在 7 分钟内以 1% 相对误差估计低于 $10^{-8}$ 的碰撞率，而朴素蒙特卡洛方法则需数月时间。