[论文解读] Formal Language Constraints for Markov Decision Processes

Eleanor Quint, Dong Xu+3 more|arXiv (Cornell University)|Oct 2, 2019

Formal Methods in Verification参考文献 53被引用 4

一句话总结

本文提出了一种基于形式语言的框架，用于在马尔可夫决策过程（MDPs）中使用有限自动机指定安全约束，以实现高效的运行时验证和安全强化学习。通过将约束自动机状态附加到MDP状态上，学习密集的代价函数，并应用动作塑造，该方法在MuJoCo、Safety Gym和Atari环境中的探索过程中显著减少了约束违反，同时提高了样本效率和最终性能。

ABSTRACT

In order to satisfy safety conditions, an agent may be constrained from acting freely. A safe controller can be designed a priori if an environment is well understood, but not when learning is employed. In particular, reinforcement learned (RL) controllers require exploration, which can be hazardous in safety critical situations. We study the benefits of giving structure to the constraints of a constrained Markov decision process by specifying them in formal languages as a step towards using safety methods from software engineering and controller synthesis. We instantiate these constraints as finite automata to efficiently recognise constraint violations. Constraint states are then used to augment the underlying MDP state and to learn a dense cost function, easing the problem of quickly learning joint MDP/constraint dynamics. We empirically evaluate the effect of these methods on training a variety of RL algorithms over several constraints specified in Safety Gym, MuJoCo, and Atari environments.

研究动机与目标

• 为解决强化学习探索过程中确保安全的挑战，因为不受控制的探索可能导致危险行为。
• 通过使用正则语言和有限自动机等广为人知的形式语言表达约束，实现安全属性的正式验证。
• 通过结构化约束来引导探索并减少约束违反，从而提高样本效率和学习稳定性。
• 在不依赖预定义解析边界或事后屏蔽的情况下，将安全约束集成到RL训练中。
• 证明形式语言约束可以被高效识别，并在训练期间用于塑造奖励和动作。

提出的方法

• 使用识别有效轨迹的有限自动机定义形式语言约束，从而实现安全条件的高效运行时验证。
• 通过将约束自动机的当前状态附加到MDP状态上，构建联合MDP/约束状态空间，以改善联合动态的学习。
• 利用学习到的奖励塑造函数，从稀疏代价信号中学习密集代价函数，从而在训练期间提供更平滑的信用分配。
• 通过动态限制动作集，仅保留不会导致约束违反的动作，来应用动作塑造，从而在探索期间确保安全。
• 该框架可与标准RL算法（如DQN、SAC）集成，并支持硬约束（动作过滤）和软约束（奖励塑造）。
• 使用正则表达式指定约束，例如 $(\ell r)^2 \mid (r\ell)^2$，以编码Atari和MuJoCo中的抖动等时间模式。

实验结果

研究问题

• RQ1 以有限自动机表示的形式语言约束是否能提高强化学习智能体在探索过程中的安全性和样本效率？
• RQ2 将约束自动机状态附加到MDP状态上，对学习收敛性和约束违反率有何影响？
• RQ3 与稀疏代价信号相比，学习到的密集代价函数在约束强化学习中的性能提升程度如何？
• RQ4 基于约束结构的动态动作塑造是否能减少约束违反，同时保持高回报？
• RQ5 与传统屏蔽或奖励塑造相比，形式语言约束在验证支持和与学习算法集成方面表现如何？

主要发现

• 在Half-cheetah环境中，使用λ = -1000的奖励塑造将每100步的违规次数从82.84减少到16.73，同时将平均回报从1555.30提高到2524.10。
• 在Reacher环境中，表现最佳的配置（λ = -1000）实现了零违规，回报为-5.28，优于基线的-6.55。
• 在Atari环境中，训练和评估期间均应用硬性动作塑造，实现了最高平均回报（例如，Breakout为302.00，Seaquest为2284.78），且无违规。
• 当仅在训练期间应用动作塑造时，性能略有提升（例如，Paddle Ball为281.77，而仅在评估时为229.00），表明早期塑造有助于策略学习。
• 该方法在MuJoCo环境中将约束违规减少了高达80%，同时提高了最终策略的回报，证明了安全性和样本效率的提升。
• 使用形式语言约束使得安全属性的先验验证成为可能，并支持集成到基于合约的软件系统中。