[论文解读] Learning Safe Policies with Expert Guidance

Jessie Huang, Fa Wu+2 more|arXiv (Cornell University)|May 21, 2018

Reinforcement Learning in Robotics被引用 6

一句话总结

本文提出了一种最大最小强化学习框架，通过优化与专家示范一致的所有奖励函数中的最坏情况奖励，来学习安全策略。该方法采用基于椭球体的精确方法和实用的跟随扰动领导者（FPL）算法，确保对奖励函数误设的鲁棒性，使智能体在模仿专家的同时避免有害状态，即使在具有新特征的未见环境中也能实现。

ABSTRACT

We propose a framework for ensuring safe behavior of a reinforcement learning agent when the reward function may be difficult to specify. In order to do this, we rely on the existence of demonstrations from expert policies, and we provide a theoretical framework for the agent to optimize in the space of rewards consistent with its existing knowledge. We propose two methods to solve the resulting optimization: an exact ellipsoid-based method and a method in the spirit of the "follow-the-perturbed-leader" algorithm. Our experiments demonstrate the behavior of our algorithm in both discrete and continuous problems. The trained agent safely avoids states with potential negative effects while imitating the behavior of the expert in the other states.

研究动机与目标

• 解决强化学习中奖励函数误设的问题，该问题可能导致有害副作用。
• 开发一种方法，通过优化与专家示范一致的最坏情况奖励，确保智能体行为的安全性。
• 在训练MDP中未出现但共享特征空间的新环境中，实现稳健的策略学习。
• 提供一种基于椭球体方法的精确多项式时间解法，以及一种适用于实际部署的高效FPL算法。
• 通过关注奖励一致性而非策略一致性，实现对多个可能冲突的专家策略的集成。

提出的方法

• 将安全策略学习问题建模为最大最小优化：智能体选择策略以最大化所有与专家示范一致的奖励函数中的最小奖励。
• 将一致奖励定义为专家策略在近似最优性能（ε以内）下表现的奖励，形成一个凸集。
• 使用椭球体方法，结合由MDP求解器导出的分离 oracle，以多项式时间精确求解最大最小问题。
• 提出一种跟随扰动领导者（FPL）算法，实现O(1/√T)的遗憾，使策略在T轮迭代中收敛至最优最大最小策略。
• 利用MDP求解器作为子程序，为智能体的策略空间和对手的奖励空间设计分离 oracle。
• 将基于FPL的方法扩展至使用近似MDP求解器（如FPTAS）的场景，同时保持性能保证。

实验结果

研究问题

• RQ1 强化学习智能体能否在真实奖励函数未知或误设的情况下，学习到既安全又高性能的策略？
• RQ2 如何将多个可能冲突的专家示范整合，以指导安全策略学习？
• RQ3 智能体能否在具有先前未见特征的新环境中泛化，同时保持安全性？
• RQ4 求解最大最小安全策略学习问题的计算复杂度是多少？能否使其具备实用性？
• RQ5 在线学习算法如FPL能否被适配，以在该最大最小设置中实现高效且近似最优的解？

主要发现

• 所提出的基于椭球体的方法利用分离与优化之间的等价性，以多项式时间精确求解最大最小安全策略学习问题。
• 基于FPL的算法实现了O(1/√T)的遗憾，意味着策略以随迭代次数增加而改善的速率收敛至最优最大最小策略。
• 在网格世界环境中，最大最小策略成功避开了专家经验中未出现的危险状态（如红色地形），同时在安全区域模仿专家。
• 在修改后的倒立杆任务中，当仅由一名专家指导时，智能体学会避开有害障碍物；当提供多个专家时，其安全范围扩大，学会识别某些特征（如黄色障碍物）并不危险。
• 该方法可泛化至连续控制任务，即使使用近似MDP求解器也保持有效性，展现出实际适用性。
• 实验表明，最大最小策略在安全性方面优于标准模仿学习，因其优先考虑最坏情况性能，而非单一专家的模仿。