[论文解读] Cautious Reinforcement Learning with Logical Constraints

Mohammadhosein Hasanbeig, Alessandro Abate+1 more|arXiv (Cornell University)|May 5, 2020

Reinforcement Learning in Robotics被引用 24

一句话总结

本文提出了一种强化学习中的自适应安全填充机制，通过以时序逻辑公式表达的逻辑约束，确保探索过程中的安全性。该方法在目标导向探索与安全性之间取得平衡，实现了具有理论收敛保证的最优策略，并在实验中展现出优异性能。

ABSTRACT

This paper presents the concept of an adaptive safe padding that forces Reinforcement Learning (RL) to synthesise optimal control policies while ensuring safety during the learning process. Policies are synthesised to satisfy a goal, expressed as a temporal logic formula, with maximal probability. Enforcing the RL agent to stay safe during learning might limit the exploration, however we show that the proposed architecture is able to automatically handle the trade-off between efficient progress in exploration (towards goal satisfaction) and ensuring safety. Theoretical guarantees are available on the optimality of the synthesised policies and on the convergence of the learning algorithm. Experimental results are provided to showcase the performance of the proposed method.

研究动机与目标

• 为解决在不损害学习效率的前提下，确保强化学习探索过程安全性的挑战。
• 合成满足以时序逻辑公式表达的目标的最优控制策略，且满足概率最大。
• 通过自适应机制自动平衡探索进度与安全约束的执行。
• 为策略最优性与学习算法收敛性提供理论保证。
• 通过在控制任务上的实验评估，证明该方法的有效性。

提出的方法

• 该方法采用自适应安全填充机制，动态调整学习过程以维持安全约束。
• 通过时序逻辑公式强制执行安全约束，定义期望行为及对智能体动作的限制。
• 该架构将逻辑约束整合到强化学习目标中，通过修改奖励塑造，优先选择安全轨迹。
• 填充机制具备自适应性，可在识别出安全路径时增加探索，从而在安全与进展之间实现平衡。
• 理论分析确保了学习算法的收敛性以及所合成策略的最优性。
• 该方法采用深度强化学习框架，并结合函数逼近技术以实现可扩展性。

实验结果

研究问题

• RQ1 如何在确保高效策略学习的同时，使强化学习在探索过程中保持安全？
• RQ2 能否有效将以时序逻辑公式表达的逻辑约束集成到深度强化学习中以确保安全性？
• RQ3 自适应安全填充机制在实践中如何平衡探索与安全性？
• RQ4 能够为所生成策略的最优性与收敛性提供哪些理论保证？
• RQ5 与基线方法相比，该方法在安全关键控制任务中的表现如何？

主要发现

• 所提出的方法成功合成了以高概率满足时序逻辑目标的最优控制策略。
• 自适应安全填充机制在学习过程中有效实现了探索，同时始终维持安全约束。
• 理论分析证实了学习算法的收敛性以及所学策略的最优性。
• 实验结果表明，与基线方法相比，该方法在安全性和目标达成方面表现更优。
• 该方法在复杂控制任务中实现了探索效率与安全约束执行之间的有利权衡。
• 该方法在需要严格遵守逻辑安全约束的环境中具有良好的可扩展性与有效性。