[论文解读] Responsive Safety in Reinforcement Learning by PID Lagrangian Methods

Adam Stooke, Joshua Achiam+1 more|arXiv (Cornell University)|Jul 8, 2020

Advanced Control Systems Optimization参考文献 34被引用 44

一句话总结

本文提出基于PID的更新来拉格朗日乘子在受约束的强化学习中，提高安全约束满足和鲁棒性。

ABSTRACT

Lagrangian methods are widely used algorithms for constrained optimization problems, but their learning dynamics exhibit oscillations and overshoot which, when applied to safe reinforcement learning, leads to constraint-violating behavior during agent training. We address this shortcoming by proposing a novel Lagrange multiplier update method that utilizes derivatives of the constraint function. We take a controls perspective, wherein the traditional Lagrange multiplier update behaves as \emph{integral} control; our terms introduce \emph{proportional} and \emph{derivative} control, achieving favorable learning dynamics through damping and predictive measures. We apply our PID Lagrangian methods in deep RL, setting a new state of the art in Safety Gym, a safe RL benchmark. Lastly, we introduce a new method to ease controller tuning by providing invariance to the relative numerical scales of reward and cost. Our extensive experiments demonstrate improved performance and hyperparameter robustness, while our algorithms remain nearly as simple to derive and implement as the traditional Lagrangian approach.

研究动机与目标

• 动员/解释在受约束的RL中传统拉格朗日更新所观察到的不稳定性和振荡。
• 提出一种拉格朗日乘子的一阶-积分-微分（PID）更新，以抑制振荡并提升响应性。
• 将该方法应用于深度强化学习并与PPO集成，以实现更安全、更鲁棒的训练。
• 提供一个奖励-成本尺度不变性机制，以简化跨环境的超参调优。

提出的方法

• 将受约束的RL建模为以拉格朗日乘子作为控制输入的动力系统。
• 通过在标准积分更新中加入比例项和微分项来引入拉格朗日乘子的PID更新。
• 推导修改后的动力学，展示阻尼改进和潜在的预测性收益。
• 将PID拉格朗日方法与PPO集成，在Safety Gym环境中创建Constraint-Controlled PPO (CPPO)。
• 提出一种奖励-成本尺度不变性技术，使控制器调优对奖励和成本的相对尺度具有鲁棒性。

实验结果

研究问题

• RQ1 基于PID的拉格朗日乘子更新是否能够在训练过程中减少成本超调和约束违规？
• RQ2 在安全RL基准中，PID-拉格朗日方法是否提供更强的超参数鲁棒性和学习效率？
• RQ3 将该方法与领先的深度RL算法（PPO）在Safety Gym任务中集成时，性能如何？
• RQ4 是否可以通过奖励-成本尺度不变性简化调优而不牺牲性能？

主要发现

• 与传统仅积分的拉格朗日方法相比，PID更新抑制了成本振荡和超调。
• PI控制（非零P项）在多个Safety Gym任务中减少约束违规，同时维持奖励。
• 微分控制提供预测性阻尼，能够防止成本超调，减慢向约束边界的逼近。
• 带有PID更新的Constraint-Controlled PPO在Safety Gym基准上达到最先进的性能。
• 一种奖励尺度不变性技术简化超参数调优并提高跨环境的鲁棒性。