[论文解读] Adding Neural Network Controllers to Behavior Trees without Destroying Performance Guarantees

Christopher Iliffe Sprague, Petter Ögren|arXiv (Cornell University)|Sep 26, 2018

Explainable Artificial Intelligence (XAI)被引用 7

一句话总结

该论文提出了一种将神经网络控制器集成到行为树（BTs）中的方法，同时保持对安全性和目标收敛性的形式化保证。通过采用分层优先级结构——安全优先，其次是基于模型的控制，最后是数据驱动的控制，该方法确保了不可靠的机器学习组件不会损害系统稳定性或性能，如在倒立摆提升任务中所展示的，实现了可证明的有限时间安全性与收敛性。

ABSTRACT

In this paper, we show how Behavior Trees that have performance guarantees, in terms of safety and goal convergence, can be extended with components that were designed using machine learning, without destroying those performance guarantees. Machine learning approaches such as reinforcement learning or learning from demonstration can be very appealing to AI designers that want efficient and realistic behaviors in their agents. However, those algorithms seldom provide guarantees for solving the given task in all different situations while keeping the agent safe. Instead, such guarantees are often easier to find for manually designed model-based approaches. In this paper we exploit the modularity of behavior trees to extend a given design with an efficient, but possibly unreliable, machine learning component in a way that preserves the guarantees. The approach is illustrated with an inverted pendulum example.

研究动机与目标

• 解决将不可靠的数据驱动控制器集成到自主系统中而不损害安全性或目标收敛性的问题。
• 在将手动设计的基于模型的BT扩展为包含机器学习组件时，保持形式化的性能保证（安全性与有限时间收敛性）。
• 提供一种模块化、可重构的框架，允许高效学习的行为，同时保持系统整体正确性。
• 形式化定义混合BT与机器学习组件结合时避免控制器冲突和死锁的条件。
• 在典型控制问题——倒立摆提升任务上验证该方法。

提出的方法

• BT架构采用三层优先级：最高优先级为安全控制器，中等优先级为基于模型的控制器，最低优先级为数据驱动（神经网络）控制器。
• 当系统进入预定义的不安全区域时，安全控制器被激活，采用类似PD的控制律，并利用正不变集确保稳定性。
• 若运行成本（如时间或能量）超过阈值，则调用基于模型的控制器，以确保有限时间收敛至目标区域。
• 仅当安全和成本约束均满足时，才执行数据驱动控制器，从而最小化风险暴露。
• 基于李雅普诺夫稳定性理论与有限时间安全性（FTS）分析，推导出系统在切换情况下的形式化条件，以保证系统行为。
• 数据驱动控制器通过行为克隆在庞特里亚金最大值原理生成的最优轨迹上进行训练，使用包含三层的MLP，激活函数为softplus与tanh。

实验结果

研究问题

• RQ1 在何种条件下，可安全地将神经网络控制器集成到行为树中，而不损害安全性或收敛性保证？
• RQ2 如何利用行为树的反应性与模块化特性，防止混合控制系统中的控制器冲突？
• RQ3 哪些形式化条件可确保安全、基于模型和数据驱动控制器的组合实现有限时间安全性与目标收敛？
• RQ4 在混合BT框架中，基于最优轨迹训练的数据驱动控制器是否可安全使用，同时保持系统整体性能保证？
• RQ5 如何利用运行成本作为触发条件，以可证明正确的方式从数据驱动控制器切换到基于模型的控制器？

主要发现

• 所提出的具有分层优先级的BT结构通过正不变集与李雅普诺夫分析，证明了安全控制器具有有限时间安全性（FTS）。
• 基于模型的控制器通过稳定性理论与系统动力学分析，保证了对目标区域的有限时间收敛。
• 数据驱动控制器在未见轨迹上的测试均方误差（MSE）为2.2745e-3，表明其在训练分布上的表现优异。
• 整个系统满足所有必需的性能保证：安全性得以保持，且在定义的切换逻辑下，目标收敛性得到保证。
• 通过严格优先级与形式化切换条件，该方法成功防止了死锁与控制器冲突。
• 倒立摆实例表明，即使在边缘情况下数据驱动控制器不可靠，该混合BT设计仍能实现安全运行与高效的提升性能。