[论文解读] Maximum Entropy RL (Provably) Solves Some Robust RL Problems

Benjamin Eysenbach, Sergey Levine|arXiv (Cornell University)|Mar 10, 2021

Reinforcement Learning in Robotics参考文献 57被引用 28

一句话总结

MaxEnt RL 对鲁棒 RL 目标给出可证的下界，生成对动力学和奖励中某些干扰具有鲁棒性的策略，而无需额外的鲁棒性工具。

ABSTRACT

Many potential applications of reinforcement learning (RL) require guarantees that the agent will perform well in the face of disturbances to the dynamics or reward function. In this paper, we prove theoretically that maximum entropy (MaxEnt) RL maximizes a lower bound on a robust RL objective, and thus can be used to learn policies that are robust to some disturbances in the dynamics and the reward function. While this capability of MaxEnt RL has been observed empirically in prior work, to the best of our knowledge our work provides the first rigorous proof and theoretical characterization of the MaxEnt RL robust set. While a number of prior robust RL algorithms have been designed to handle similar disturbances to the reward function or dynamics, these methods typically require additional moving parts and hyperparameters on top of a base RL algorithm. In contrast, our results suggest that MaxEnt RL by itself is robust to certain disturbances, without requiring any additional modifications. While this does not imply that MaxEnt RL is the best available robust RL method, MaxEnt RL is a simple robust RL method with appealing formal guarantees.

研究动机与目标

• 在现实环境中可能发生对动力学或奖励的干扰时，激发对鲁棒 RL 的需求。
• 理论地表征在此类干扰下 MaxEnt RL 如何产生鲁棒策略。
• 展示最大化 MaxEnt RL 如何与悲观鲁棒目标相关联，并量化鲁棒集合。

提出的方法

• 定义带有熵项和平衡系数 alpha 的 MaxEnt RL 目标 J_MaxEnt。
• 证明鲁棒性结果：(i) 对奖励扰动的鲁棒性（定理 4.1）以及 (ii) 使用悲观奖励 \u0013bar{r}（方程 3）和基于散度的鲁棒集合（方程 5）来实现对动力学扰动的鲁棒性。
• 表征鲁棒集合 tilde{R}(\u0002pi) 和 tilde{P}(\u0002pi) 并将 epsilon 与策略熵的关系（引理 4.3）联系起来。
• 给出推论，将 MaxEnt RL 与未正则化鲁棒目标的下界相关联（推论 4.2.1）。
• 提供经过推导的示例以帮助理解奖励和动力学鲁棒性。
• 进行数值仿真，将 MaxEnt RL 与先前的鲁棒方法及标准 RL 进行比较。

实验结果

研究问题

• RQ1 在奖励和动力学扰动下，MaxEnt RL 是否能最大化对鲁棒 RL 目标的下界？
• RQ2 对于奖励和动力学的鲁棒集合有哪些，MaxEnt RL 保证成立？
• RQ3 熵系数如何影响鲁棒性以及鲁棒集合的大小？
• RQ4 经验结果是否支持在实际任务中理论上的鲁棒性结论？

主要发现

• 当应用于悲观奖励函数时，MaxEnt RL 能证明性地最大化对鲁棒 RL 目标的下界。
• 鲁棒预算 epsilon 被策略熵的下界所约束，将熵与鲁棒性水平联系起来。
• MaxEnt RL 策略学习多条路径，提供对动力学或奖励扰动的鲁棒性，并在与专门鲁棒方法的比较中表现竞争力。
• 分析和实验表明，熵系数越大，鲁棒性越强，鲁棒性还扩展到对动力学的对抗性扰动。
• 实证结果表明 MaxEnt RL 在基准任务上可以优于或匹配以往的鲁棒 RL 方法，同时在概念上更简单。