[论文解读] Differentiable Control Barrier Functions for Vision-based End-to-End Autonomous Driving

Wei Xiao, Tsun-Hsuan Wang+4 more|arXiv (Cornell University)|Mar 4, 2022

Advanced Neural Network Applications被引用 11

一句话总结

该论文提出了一种基于可微分控制屏障函数（dCBF）的框架，用于基于视觉的端到端自动驾驶系统，通过可学习的屏障层实现安全保证。通过将dCBF集成到神经网络中，利用可微分二次规划（QP），系统在模拟和真实世界测试中均实现了安全的车道保持与障碍物避让，即使在雪地和结冰路面上等具有挑战性的条件下也能保持良好表现，且对真实状态信息的依赖极低。

ABSTRACT

Guaranteeing safety of perception-based learning systems is challenging due to the absence of ground-truth state information unlike in state-aware control scenarios. In this paper, we introduce a safety guaranteed learning framework for vision-based end-to-end autonomous driving. To this end, we design a learning system equipped with differentiable control barrier functions (dCBFs) that is trained end-to-end by gradient descent. Our models are composed of conventional neural network architectures and dCBFs. They are interpretable at scale, achieve great test performance under limited training data, and are safety guaranteed in a series of autonomous driving scenarios such as lane keeping and obstacle avoidance. We evaluated our framework in a sim-to-real environment, and tested on a real autonomous car, achieving safe lane following and obstacle avoidance via Augmented Reality (AR) and real parked vehicles.

研究动机与目标

• 解决基于感知的端到端学习系统在自动驾驶中缺乏安全保证的问题。
• 实现在高维视觉观测空间中的安全操作，此时无法获取真实状态信息。
• 通过可微分控制屏障函数，在保持严格安全约束的同时降低控制策略的保守性。
• 在模拟和全尺寸自动驾驶车辆的真实部署中验证该框架。
• 仅使用视觉输入，在真实世界挑战（如降雪、结冰、能见度差）下展示系统的鲁棒性。

提出的方法

• 集成基于视觉的状态估计模块，从原始摄像头输入中推断车辆状态，实现在无真实状态信息情况下的安全控制。
• 在神经网络流程中引入可微分控制屏障函数（dCBF）层，支持通过梯度下降进行端到端训练。
• 使用可微分二次规划（QP）计算满足系统动力学和安全约束的控制输入。
• 通过反向传播对整个系统进行端到端训练，dCBF参数与神经网络权重联合优化。
• 采用BarrierNet架构，结合学习型神经策略与可微分安全层，实现可解释且自适应的安全行为。
• 在模拟到真实环境进行框架验证，并在真实自动驾驶车辆上部署，使用增强现实技术模拟障碍物。

实验结果

研究问题

• RQ1 可微分控制屏障函数能否有效集成到基于视觉的端到端自动驾驶系统中，实现在无真实状态监督下的安全保证？
• RQ2 dCBF的引入在复杂驾驶场景中对学习型神经控制器的保守性与性能有何影响？
• RQ3 在无显式状态信息可用时，基于视觉的状态估计模块在多大程度上可支持安全控制？
• RQ4 在存在降雪、结冰和能见度差等环境挑战的真实世界条件下，系统表现如何？
• RQ5 BarrierNet架构能否在仅当必要时（如避障或接近车道边界）才使控制器偏离参考轨迹的同时，维持安全保证？

主要发现

• 所提出的框架在模拟和真实世界测试中均实现了安全的车道保持与障碍物避让，即使在未提供真实状态信息的自车情况下也表现良好。
• BarrierNet层成功降低了碰撞概率和驾驶员干预次数，通过在检测到障碍物时动态调整控制输入。
• 在结冰路面上的急转弯场景中，采用车道保持dCBF的模型比无dCBF的基线模型更稳定地保持在车道内，展现出更强的鲁棒性。
• 当参考控制无法避免障碍物时，dCBF层实时纠正了轨迹，证实了安全层在故障条件下能够有效激活。
• 即使在降雪严重、视觉线索退化的情况下，系统仍能保持与障碍物的安全距离，凸显了dCBF驱动安全机制的鲁棒性。
• BarrierNet的输出仅在必要时（如车辆接近障碍物或车道边界）才偏离参考控制，证明了其具备自适应的安全执行能力。