[论文解读] Deep Constrained Q-learning

Gabriel Kalweit, Maria Huegle+2 more|arXiv (Cornell University)|Mar 20, 2020

Reinforcement Learning in Robotics参考文献 30被引用 14

一句话总结

本文提出深度约束Q学习（CDQN），一种新颖的离策略强化学习框架，通过在Q更新过程中直接限制动作空间来强制执行硬性约束，从而确保最优且安全的策略。该方法引入基于截断价值函数的多步约束，使约束表述独立于折扣因子，相较于奖励塑形和拉格朗日方法，在自动驾驶任务中实现了更高的可解释性与性能，涵盖安全、舒适性及右侧行驶车道约束。

ABSTRACT

In many real world applications, reinforcement learning agents have to optimize multiple objectives while following certain rules or satisfying a list of constraints. Classical methods based on reward shaping, i.e. a weighted combination of different objectives in the reward signal, or Lagrangian methods, including constraints in the loss function, have no guarantees that the agent satisfies the constraints at all points in time and can lead to undesired behavior. When a discrete policy is extracted from an action-value function, safe actions can be ensured by restricting the action space at maximization, but can lead to sub-optimal solutions among feasible alternatives. In this work, we propose Constrained Q-learning, a novel off-policy reinforcement learning framework restricting the action space directly in the Q-update to learn the optimal Q-function for the induced constrained MDP and the corresponding safe policy. In addition to single-step constraints referring only to the next action, we introduce a formulation for approximate multi-step constraints under the current target policy based on truncated value-functions. We analyze the advantages of Constrained Q-learning in the tabular case and compare Constrained DQN to reward shaping and Lagrangian methods in the application of high-level decision making in autonomous driving, considering constraints for safety, keeping right and comfort. We train our agent in the open-source simulator SUMO and on the real HighD data set.

研究动机与目标

• 解决在自动驾驶等现实应用中训练满足多重安全与性能约束的强化学习智能体的挑战。
• 克服奖励塑形和拉格朗日方法的局限性，这些方法缺乏约束满足的保证，且需要大量超参数调优。
• 通过直接修改Q更新过程，而非依赖事后策略提取，提出一种确保硬约束下最优策略的方法。
• 引入基于截断价值函数的新一类多步约束，使其独立于折扣因子，且更直观易于构建。
• 在模拟与真实世界环境中评估该方法，验证其对分布偏移的泛化能力与鲁棒性。

提出的方法

• 约束Q学习通过在最大化步骤中仅保留满足约束的动作来限制动作空间，确保学习到的Q函数对应于安全策略。
• 该方法提出一种基于当前目标策略下截断价值函数的近似多步约束公式，实现在有限时域内无需依赖折扣因子的约束表达。
• 该方法被集成到深度Q网络（DQN）中形成约束DQN（CDQN），其中目标网络用于估计时域H内的未来约束成本。
• 通过Q更新中的动作空间塑造实现约束强制，减少搜索空间，提升表格设置下的样本效率。
• 该框架支持单步与多步约束，后者允许直观的表述方式，如“10秒内不超过两次变道”。
• 该方法避免了奖励塑形或拉格朗日惩罚系数调优的需要，为安全关键型强化学习提供了更具可解释性与鲁棒性的替代方案。

实验结果

研究问题

• RQ1 在Q更新中直接强制执行约束是否能比奖励塑形或拉格朗日方法带来更安全、更优的策略？
• RQ2 与奖励塑形相比，通过约束Q更新实现的动作空间塑造在样本效率与约束满足方面表现如何？
• RQ3 基于截断价值函数的多步约束是否能在不依赖折扣因子的情况下提升可解释性与性能？
• RQ4 CDQN是否能泛化到真实世界的数据分布，即使在仿真环境中训练？
• RQ5 CDQN是否能在保持高性能的同时实现近乎零的约束违规，用于自动驾驶决策？

主要发现

• 在真实HighD数据上的评估中，CDQN在每个时间步均实现零约束违规，其安全性、速度与一致性均优于所有基线方法。
• 在仿真环境中，CDQN相比奖励塑形与拉格朗日方法将约束违规降低了数量级，后者表现出高方差与性能不一致。
• SPE基线方法崩溃为直线行驶，尽管经过训练，仍未能执行任何变道操作。
• 在真实HighD数据上训练的CDQN能良好泛化至新场景，其表现与在仿真中训练的CDQN相当或更优，尤其在高密度交通场景中表现更佳。
• 在表格设置中，由于动作空间塑造减少了搜索空间，约束Q学习的样本效率比奖励塑形高出10倍。
• 使用截断价值函数实现多步约束，可实现直观的非折扣约束表述，如限制10秒窗口内的变道次数，而无需精确调整折扣因子。