[论文解读] Safe Policies for Reinforcement Learning via Primal-Dual Methods

Santiago Paternain, Miguel Calvo-Fullana+2 more|arXiv (Cornell University)|Nov 20, 2019

Reinforcement Learning in Robotics被引用 12

一句话总结

该论文提出了一种原始-对偶强化学习方法，通过将概率安全约束松弛为遍历形式，确保在未知动态的MDP中实现安全，从而实现基于梯度的优化。该方法在非凸问题中建立了强对偶性，使得在温和的参数化假设下，可通过具有收敛性和安全保证的随机逼近方法学习到安全且最优的策略。

ABSTRACT

In this paper, we study the learning of safe policies in the setting of reinforcement learning problems. This is, we aim to control a Markov Decision Process (MDP) of which we do not know the transition probabilities, but we have access to sample trajectories through experience. We define safety as the agent remaining in a desired safe set with high probability during the operation time. We therefore consider a constrained MDP where the constraints are probabilistic. Since there is no straightforward way to optimize the policy with respect to the probabilistic constraint in a reinforcement learning framework, we propose an ergodic relaxation of the problem. The advantages of the proposed relaxation are threefold. (i) The safety guarantees are maintained in the case of episodic tasks and they are kept up to a given time horizon for continuing tasks. (ii) The constrained optimization problem despite its non-convexity has arbitrarily small duality gap if the parametrization of the policy is rich enough. (iii) The gradients of the Lagrangian associated with the safe-learning problem can be easily computed using standard policy gradient results and stochastic approximation tools. Leveraging these advantages, we establish that primal-dual algorithms are able to find policies that are safe and optimal. We test the proposed approach in a navigation task in a continuous domain. The numerical results show that our algorithm is capable of dynamically adapting the policy to the environment and the required safety levels.

研究动机与目标

• 设计在转移动态未知时的MDP安全强化学习策略，仅依赖于采样轨迹。
• 确保策略在无模型知识的情况下，长时间内以高概率保持在安全集合内。
• 通过引入概率约束的遍历松弛，克服安全约束的非凸性与不可计算的梯度问题。
• 即使在非凸情况下，也建立约束强化学习问题中的强对偶性，从而支持有原则的对偶优化。
• 开发一种实用的基于梯度的算法，通过随机逼近动态调整策略以兼顾安全与性能目标。

提出的方法

• 引入机会约束的遍历松弛，将路径安全替换为轨迹上的时间平均安全。
• 利用拉格朗日对偶性重构约束强化学习问题，通过标准强化学习工具和随机逼近实现梯度计算。
• 使用占据测度和策略参数化，将拉格朗日函数及其梯度表示为状态-动作访问频率的形式。
• 通过利用策略空间的几何性质，在非凸设置下，仅在温和条件下建立原始问题与对偶问题之间的强对偶性。
• 应用原始-对偶算法，通过从轨迹中估计的随机梯度，交替更新策略参数和拉格朗日乘子。
• 在参数化类中使用 $\epsilon$-近似最优策略，以界定向对偶间隙并确保收敛。

实验结果

研究问题

• RQ1 我们能否设计一种安全强化学习算法，保证在不依赖MDP转移动态知识的情况下，以高概率将策略限制在安全集合内？
• RQ2 如何以一种保留安全保证的同时支持基于梯度优化的方式松弛概率安全约束？
• RQ3 在非凸约束强化学习问题中，强对偶性是否成立？是否可被用于寻找最优策略？
• RQ4 我们能否在参数化策略学习中界定向对偶间隙与近似间隙，以确保收敛到安全且最优的策略？
• RQ5 我们能否通过基于对偶的有原则方法，在连续控制任务中动态平衡安全与性能？

主要发现

• 所提出的遍历松弛在回合任务和持续任务中均保留了安全保证，确保在给定时间范围内的高概率安全集合包含。
• 只要策略参数化足够丰富，即使在非凸情况下，约束强化学习问题的强对偶性依然成立，从而实现精确的对偶间隙控制。
• 对偶间隙由 $ (B_r + \|\lambda^\star_\epsilon\|_1)\epsilon / (1 - \gamma) $ 有界，其中 $\epsilon$ 控制策略类的近似误差。
• 可使用标准强化学习技术计算拉格朗日函数的随机梯度，从而通过原始-对偶更新实现端到端训练。
• 在连续导航任务中的数值实验表明，该算法能动态适应环境变化和所需的安全水平。
• 该方法在无需领域特定的拉格朗日乘子超参数调优的情况下实现安全且最优的行为，因为拉格朗日乘子通过对偶优化求解。