[论文解读] Learning Robust Output Control Barrier Functions from Safe Expert Demonstrations

Lars Lindemann, Alexander Robey+4 more|arXiv (Cornell University)|Nov 18, 2021

Adversarial Robustness in Machine Learning被引用 11

一句话总结

本论文提出鲁棒输出控制屏障函数（ROCBFs），在系统动态和状态估计不确定性下，从专家示范中学习安全控制律。通过使用安全专家数据构建凸优化问题，该方法即使在存在有界误差的情况下，也能保证安全集的前向不变性，从而在自驾车等自主系统中实现可证明的安全控制，且仅需RGB输入。

ABSTRACT

This paper addresses learning safe output feedback control laws from partial observations of expert demonstrations. We assume that a model of the system dynamics and a state estimator are available along with corresponding error bounds, e.g., estimated from data in practice. We first propose robust output control barrier functions (ROCBFs) as a means to guarantee safety, as defined through controlled forward invariance of a safe set. We then formulate an optimization problem to learn ROCBFs from expert demonstrations that exhibit safe system behavior, e.g., data collected from a human operator or an expert controller. When the parametrization of the ROCBF is linear, then we show that, under mild assumptions, the optimization problem is convex. Along with the optimization problem, we provide verifiable conditions in terms of the density of the data, smoothness of the system model and state estimator, and the size of the error bounds that guarantee validity of the obtained ROCBF. Towards obtaining a practical control algorithm, we propose an algorithmic implementation of our theoretical framework that accounts for assumptions made in our framework in practice. We validate our algorithm in the autonomous driving simulator CARLA and demonstrate how to learn safe control laws from simulated RGB camera images.

研究动机与目标

• 开发一种数据驱动方法，用于在系统动态和状态估计器存在不确定性时学习安全控制律。
• 通过在有界误差下对安全集实现鲁棒前向不变性，确保安全性。
• 利用专家示范（如人类驾驶）学习有效的控制屏障函数，而无需事先进行解析构造。
• 提供可验证的条件——包括数据密度、平滑性及误差界——以确保所学习的ROCBF有效且具有鲁棒性。
• 通过考虑实际假设（如传感器噪声和模型不准确性）来实现算法的实际部署。

提出的方法

• 提出鲁棒输出控制屏障函数（ROCBFs），通过在不确定性下对安全集实现受控前向不变性来保证安全性。
• 制定一个凸优化问题，从安全专家示范中学习ROCBF参数，假设为线性参数化。
• 引入基于数据密度、系统/模型平滑性及误差界大小的可验证条件，以确保所学习ROCBF的有效性。
• 使用状态和输出空间的$ε$-网近似，以在优化和验证过程中限制估计误差。
• 将状态估计误差界和系统动态不确定性集整合到屏障函数公式中，以确保鲁棒性。
• 设计一种实际的算法实现，考虑现实约束如传感器噪声和模型不准确性，并在CARLA模拟器中实现。

实验结果

研究问题

• RQ1 我们能否从专家示范中学习到一种控制屏障函数，使其在有界系统动态和状态估计不确定性下仍能保证安全性？
• RQ2 在何种条件下，所学习的ROCBF可被证明有效且对模型和估计误差具有鲁棒性？
• RQ3 当ROCBF为线性参数化时，如何确保学习优化问题的凸性？
• RQ4 系统和估计器的数据密度及平滑性在所学习ROCBF的有效性中起什么作用？
• RQ5 该理论框架如何适应在自动驾驶等安全关键系统中的实际部署？

主要发现

• 当ROCBF为线性参数化时，学习ROCBF的优化问题是凸的，从而可实现高效且可靠的训练。
• 存在可验证的条件——基于数据密度、系统和估计器的平滑性以及误差界大小——可保证所学习ROCBF的有效性。
• 该方法确保在系统动态和状态估计存在有界不确定性时，安全集保持前向不变。
• 在CARLA模拟器中的实证验证表明，能够成功从RGB摄像头图像和专家驾驶示范中学习到安全控制策略。
• 算法实现成功考虑了传感器噪声和模型不准确性等实际假设，从而支持现实世界中的部署。