[论文解读] Balancing Constraints and Rewards with Meta-Gradient D4PG

Dan A. Calian, Daniel J. Mankowitz+5 more|arXiv (Cornell University)|Oct 13, 2020

Reinforcement Learning in Robotics参考文献 27被引用 6

一句话总结

该论文提出 MetaL，一种基于元梯度的方法，通过在连续控制强化学习中动态优化拉格朗日乘子，改善了最大化期望回报与最小化约束违反之间的权衡。通过在 D4PG 框架中引入元梯度，MetaL 在四个 MuJoCo 环境中实现了显著优于基线方法的性能，且在回报、惩罚回报和约束满足度方面均表现出统计显著性提升。

ABSTRACT

Deploying Reinforcement Learning (RL) agents to solve real-world applications often requires satisfying complex system constraints. Often the constraint thresholds are incorrectly set due to the complex nature of a system or the inability to verify the thresholds offline (e.g, no simulator or reasonable offline evaluation procedure exists). This results in solutions where a task cannot be solved without violating the constraints. However, in many real-world cases, constraint violations are undesirable yet they are not catastrophic, motivating the need for soft-constrained RL approaches. We present a soft-constrained RL approach that utilizes meta-gradients to find a good trade-off between expected return and minimizing constraint violations. We demonstrate the effectiveness of this approach by showing that it consistently outperforms the baselines across four different MuJoCo domains.

研究动机与目标

• 为解决在真实系统中部署强化学习智能体时面临的挑战，即约束通常为软性，且阈值常不明确或不可行。
• 开发一种方法，以在最大化期望回报与最小化约束违反之间找到最优权衡，而非强制执行硬性约束。
• 通过使用元梯度自动调节拉格朗日乘子，改进现有约束强化学习方法，降低对超参数选择的敏感性。
• 通过在 MuJoCo 环境上的实证评估，证明元梯度优化在软约束强化学习中的有效性。

提出的方法

• MetaL 在 D4PG 算法基础上引入元梯度，以学习回报目标与约束违反之间的最优权衡。
• 将约束强化学习问题建模为嵌套优化问题，其中外层目标在最小化约束违反的同时最大化回报。
• 该方法利用元梯度通过策略和价值函数更新的内层优化过程反向传播，以更新拉格朗日乘子。
• MetaL 通过可微分的约束违反近似实现端到端训练，支持对权衡超参数的基于梯度的优化。
• 该方法与固定奖励重塑（RS）基线及奖励约束 D4PG（RC-D4PG）方法进行了对比。
• MetaL 引入了第二个变体 MeSh，通过结合元梯度增强奖励重塑，进一步提升约束处理能力。

实验结果

研究问题

• RQ1 元梯度能否在连续控制强化学习中有效用于学习回报最大化与约束违反最小化之间的动态权衡？
• RQ2 在不同约束阈值下，MetaL 与固定超参数基线及 RC-D4PG 相比，在性能和鲁棒性方面表现如何？
• RQ3 与现有约束强化学习方法相比，MetaL 是否降低了对初始学习率设置的敏感性？
• RQ4 在真实强化学习应用中，基于元梯度的优化是否能在不牺牲期望回报的前提下提升约束满足度？
• RQ5 MetaL 的性能提升在多个 MuJoCo 环境中是否具有统计显著性？

主要发现

• 在四个 MuJoCo 域中的三个，MetaL 显著优于所有基线方法，包括表现最佳的奖励重塑基线（RS-0.1），在回报和惩罚回报方面均表现更优。
• MetaL 在所有域中均显著优于所有基线方法，所有性能指标的 p 值均小于 1e-09。
• 在 Walker 环境中，MetaL 实现了 851.10 ± 30.55 的回报和 912.97 的惩罚回报，优于 RC-D4PG 和 RS-1.0。
• 在 Quadruped 环境中，MetaL 实现了 828.21 ± 19.73 的回报和 0.17 的约束超调量，显著优于 RC-D4PG 的 0.13 和 D4PG 的 0.35。
• 即使在次优学习率（α₁ = 0.005）下，MetaL 的性能和约束满足度仍优于 RC-D4PG 在其最优学习率（α₁ = 0.001）下的表现。
• MetaL 在所有测试的固定初始学习率下均持续优于 RC-D4PG，展现出对超参数选择的强鲁棒性。