[论文解读] Learning Approximate Forward Reachable Sets Using Separating Kernels

Adam J. Thorpe, Kendric R. Ortiz+1 more|arXiv (Cornell University)|Nov 19, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用 5

一句话总结

该论文提出了一种数据驱动方法，利用再生核希尔伯特空间（RKHS）中的分离核，学习随机非线性系统的近似前向可达集。通过将可达性问题建模为支持估计问题，并求解正则化最小二乘分类器，该方法实现了几乎必然收敛，并具备有限样本边界，从而实现了对具有神经网络控制器和任意扰动的系统的高效、无模型验证——在航天器对接和四旋翼机基准测试中实现了较低的计算成本。

ABSTRACT

We present a data-driven method for computing approximate forward reachable sets using separating kernels in a reproducing kernel Hilbert space. We frame the problem as a support estimation problem, and learn a classifier of the support as an element in a reproducing kernel Hilbert space using a data-driven approach. Kernel methods provide a computationally efficient representation for the classifier that is the solution to a regularized least squares problem. The solution converges almost surely as the sample size increases, and admits known finite sample bounds. This approach is applicable to stochastic systems with arbitrary disturbances and neural network verification problems by treating the network as a dynamical system, or by considering neural network controllers as part of a closed-loop system. We present our technique on several examples, including a spacecraft rendezvous and docking problem, and two nonlinear system benchmarks with neural network controllers.

研究动机与目标

• 开发一种可扩展的、无模型的方法，用于近似在传统基于模型的可达性工具因复杂性或缺乏系统模型而失效的随机非线性系统的前向可达集。
• 克服现有数据驱动方法的局限性，这些方法缺乏收敛性保证，或需要如凸性或已知网络结构等限制性假设。
• 通过将神经网络视为动力系统并利用基于核的学习方法计算近似可达集，实现对神经网络的验证。
• 为高维或复杂系统提供一种计算高效的替代方案，以替代因维数灾难而变得不可行的过估计区间方法。
• 在保持实际性能的同时，确保理论收敛性和有限样本边界，即使方法基于经验推导也具备理论保证。

提出的方法

• 该方法将前向可达集计算建模为再生核希尔伯特空间（RKHS）中的支持估计问题。
• 采用分离核来学习一个分类器，以区分可达集内部和外部的状态，使用正则化最小二乘优化。
• 分类器表示为RKHS中的函数，从而实现计算高效，且能良好扩展至大规模数据。
• 该方法利用核方法的理论收敛性，确保随着样本量增加，分类器几乎必然收敛。
• 推导出有限样本边界以量化近似误差，为学习到的可达集提供概率置信度。
• 通过模拟轨迹并基于生成的数据训练核分类器，将该方法应用于具有任意随机扰动的系统。

实验结果

研究问题

• RQ1 基于核的数据驱动方法能否为具有任意扰动的随机非线性系统，提供收敛且计算高效的前向可达集近似？
• RQ2 当系统模型未知或过于复杂而无法使用传统可达性分析时，RKHS中的分离核在多大程度上能近似可达集的边界？
• RQ3 该方法能否有效处理包含学习型组件（如神经网络控制器）的系统，特别是在标准过估计技术失效的情况下？
• RQ4 在高维、非线性系统（如航天器对接和四旋翼机动力学）上，该方法的计算效率和准确性如何？
• RQ5 该方法是否提供有限样本边界和几乎必然收敛，即使基于经验推导，也能提供理论保证？

主要发现

• 在具有随机扰动的航天器对接问题中，该方法在200步时间范围内计算近似前向可达集的耗时为52.907秒。
• 对于具有神经网络控制器的12自由度四旋翼机系统，该方法在50步时间范围内，仅用50条轨迹，便在12.830秒内完成了近似可达集的计算。
• 引入仿射随机扰动（如贝塔分布和高斯噪声）后，可达集近似结果更大且更符合实际，如截面可视化所示。
• 学习到的分类器成功捕捉了可达集的支持结构，近似可达集围绕模拟轨迹分布，表明具有高保真度。
• 该方法对复杂动力学表现出鲁棒性，包括在收敛前存在局部发散的系统，而区间方法在此类情况下会失效。
• 理论收敛性在实践中得到验证，分类器几乎必然收敛，且有限样本边界为近似质量提供了置信度。