[论文解读] Learning Density Distribution of Reachable States for Autonomous Systems

Yue Meng, Dawei Sun+3 more|arXiv (Cornell University)|Sep 14, 2021

Machine Learning and Algorithms参考文献 78被引用 4

一句话总结

该论文提出了一种数据驱动的半监督方法，通过联合训练神经网络以建模状态可达性与密度演化，并受Liouville PDE的指导，学习非线性及黑箱自主系统的可达状态概率密度分布。该方法实现了在线安全性验证，并提供对非安全行为的概率性边界，减少了保守性，与基于采样的方法相比，KL散度误差最高降低了99.89%。

ABSTRACT

State density distribution, in contrast to worst-case reachability, can be leveraged for safety-related problems to better quantify the likelihood of the risk for potentially hazardous situations. In this work, we propose a data-driven method to compute the density distribution of reachable states for nonlinear and even black-box systems. Our semi-supervised approach learns system dynamics and the state density jointly from trajectory data, guided by the fact that the state density evolution follows the Liouville partial differential equation. With the help of neural network reachability tools, our approach can estimate the set of all possible future states as well as their density. Moreover, we could perform online safety verification with probability ranges for unsafe behaviors to occur. We use an extensive set of experiments to show that our learned solution can produce a much more accurate estimate on density distribution, and can quantify risks less conservatively and flexibly comparing with worst-case analysis.

研究动机与目标

• 解决最坏情况可达性分析的局限性，后者过度近似可达集且无法捕捉状态集中现象。
• 开发一种数据驱动方法，计算非线性及黑箱系统的可达状态概率密度。
• 实现基于概率风险量化的在线安全性验证，而非二元安全性判断。
• 在训练过程中无需真实密度数据，学习密度演化过程。
• 与基于采样的方法（如核密度估计和高斯过程）相比，提高准确性并减少保守性。

提出的方法

• 利用Liouville偏微分方程（PDE）在状态密度演化中施加物理一致性，将其作为物理信息神经网络的约束条件。
• 训练单一神经网络，从轨迹数据中联合预测可达状态映射Φ(x₀,t)和对应的状态密度ρ(x,t)。
• 学习一种密度集中函数，捕捉从任意初始分布出发的密度乘法性变化，从而实现对不同初始条件的泛化能力。
• 使用可到达多面体推进（RPM），一种基于ReLU-NN的可达性工具，将学习到的神经网络解析为多面体集合上的线性映射。
• 对解析后的多面体执行正向与反向可达性分析，计算每个输出区域的概率密度边界[ρ_min, ρ_max]。
• 利用所得密度边界，计算在不同初始分布下非安全行为发生的概率，实现动态安全性评估。

实验结果

研究问题

• RQ1 数据驱动方法能否准确估计非线性及黑箱系统的可达状态概率密度分布？
• RQ2 与最坏情况可达性分析相比，学习密度分布在多大程度上减少了保守性？
• RQ3 该方法能否提供具有置信区间的概率性安全性验证，以评估非安全行为的发生？
• RQ4 在缺乏真实密度标签的情况下，所学习的密度模型在不同初始状态分布上的泛化能力如何？
• RQ5 该方法在高维系统中在多大程度上能捕捉状态集中现象并避免过度近似？

主要发现

• 所提方法在训练过程中无需真实密度数据，与核密度估计和高斯过程相比，KL散度误差最高降低了99.89%。
• 在双积分器基准测试中，该方法生成的可达集体积显著小于最坏情况方法，避免了Verisig（增长32.24倍）和ReachNN（增长67.96倍）中严重的过度近似。
• 在高维系统（如地面机器人导航和FACTEST汽车追踪）中，仅该方法和Sherlock能在超时限制内完成可达性分析，且该方法生成的可达集更为紧凑。
• 在多个系统中，超过90%的可达状态集中在凸包体积的10%以内，凸显了最坏情况可达性分析的保守性。
• 不同初始分布导致显著不同的安全性概率，证明了该方法在支持风险感知系统设计方面的能力。
• 该方法成功实现了基于概率结果的在线安全性验证，提供了超越二元安全性判断的可操作风险量化。