[论文解读] Counter-example Guided Learning of Bounds on Environment Behavior

Yuxiao Chen, Sumanth Dathathri+2 more|arXiv (Cornell University)|Jan 20, 2020

Formal Methods in Verification参考文献 16被引用 4

一句话总结

本文提出一种数据驱动、基于反例引导的框架，用于学习未建模环境行为的保守、状态相关边界，以验证安全关键控制器。通过在真实数据上结合 falsification 与支持向量机（SVM），该框架迭代优化反应式边界，实现形式化验证，而无需依赖精确的环境模型。利用真实人类驾驶数据，成功以 99.9% 的置信度验证了变道控制器。

ABSTRACT

There is a growing interest in building autonomous systems that interact with complex environments. The difficulty associated with obtaining an accurate model for such environments poses a challenge to the task of assessing and guaranteeing the system's performance. We present a data-driven solution that allows for a system to be evaluated for specification conformance without an accurate model of the environment. Our approach involves learning a conservative reactive bound of the environment's behavior using data and specification of the system's desired behavior. First, the approach begins by learning a conservative reactive bound on the environment's actions that captures its possible behaviors with high probability. This bound is then used to assist verification, and if the verification fails under this bound, the algorithm returns counter-examples to show how failure occurs and then uses these to refine the bound. We demonstrate the applicability of the approach through two case-studies: i) verifying controllers for a toy multi-robot system, and ii) verifying an instance of human-robot interaction during a lane-change maneuver given real-world human driving data.

研究动机与目标

• 在无需精确建模复杂、非受控环境的情况下，实现对自主系统控制器的形式化验证。
• 解决在环境动力学未知或过于复杂而无法显式建模时，验证安全关键系统的问题。
• 开发一个反馈回路，利用 falsification 生成的反例，迭代优化环境行为的保守边界。
• 利用随机凸规划理论，为所学环境边界的正确性提供概率保证。

提出的方法

• 该框架使用 falsification 生成控制器违反以信号时序逻辑（STL）编写的规范的反例。
• 将 falsifying 轨迹视为负样本，而自然主义的环境行为数据则作为正样本。
• 在正负样本上训练支持向量机（SVM），以学习随系统状态变化的反应式环境行为边界。
• 该反应式边界是对可行环境行为的保守上界近似，确保若控制器在该边界下被验证为安全，则其在真实环境中也以高概率安全。
• 该过程迭代进行：若 falsification 成功，使用新反例更新边界；若失败，则认为当前边界已足够用于验证。
• 利用随机凸规划（RCP）理论推导边界可靠性的理论保证，确保对真实环境行为的高置信度覆盖。

实验结果

研究问题

• RQ1 我们能否在不建模复杂、非受控环境完整动力学的情况下，验证控制器的安全性？
• RQ2 如何从真实数据和系统规范中学习保守的、与状态相关的环境行为边界？
• RQ3 能否利用 falsification 生成的反例，迭代优化环境边界以实现成功验证？
• RQ4 控制器策略与系统规范在引导环境行为边界学习过程中起什么作用？
• RQ5 我们如何为所学环境边界的正确性提供概率保证？

主要发现

• 该框架成功利用 SPMD 数据库中的真实人类驾驶数据，验证了用于变道操作的模型预测控制（MPC）控制器。
• 在 4 次迭代后学习到的反应式边界，使得 falsification 再也无法生成反例，从而以高置信度确认控制器满足 STL 规范。
• 该方法在变道案例中平均仅需 29.6 秒即可完成验证，展现出良好的计算效率。
• 当移除碰撞避免约束后，falsification 有效识别出导致碰撞的行为，为控制器重构提供了可操作的反馈。
• 人类车辆加速度的反应式边界被学习为上界 $ a^{ ext{max}}_{ ext{max}}(x) $，其随状态 $ x $ 变化，准确捕捉了环境的反应行为。
• 该方法在小型多智能体系统和真实世界自动驾驶场景中均表现出鲁棒性，验证了其通用性。