[论文解读] Leave no Trace: Learning to Reset for Safe and Autonomous Reinforcement Learning

Benjamin Eysenbach, Shixiang Gu+2 more|arXiv (Cornell University)|Nov 18, 2017

Reinforcement Learning in Robotics参考文献 22被引用 25

一句话总结

本文提出了一种安全且自主的强化学习框架，通过联合学习前向策略与恢复策略，实现环境的自动恢复。该方法利用基于值函数的不确定性估计，主动中止可能导致不可逆状态的危险轨迹，从而减少人工重置次数，并自动诱导课程学习，显著提升了复杂机器人任务中的样本效率与安全性。

ABSTRACT

Deep reinforcement learning algorithms can learn complex behavioral skills, but real-world application of these methods requires a large amount of experience to be collected by the agent. In practical settings, such as robotics, this involves repeatedly attempting a task, resetting the environment between each attempt. However, not all tasks are easily or automatically reversible. In practice, this learning process requires extensive human intervention. In this work, we propose an autonomous method for safe and efficient reinforcement learning that simultaneously learns a forward and reset policy, with the reset policy resetting the environment for a subsequent attempt. By learning a value function for the reset policy, we can automatically determine when the forward policy is about to enter a non-reversible state, providing for uncertainty-aware safety aborts. Our experiments illustrate that proper use of the reset policy can greatly reduce the number of manual resets required to learn a task, can reduce the number of unsafe actions that lead to non-reversible states, and can automatically induce a curriculum.

研究动机与目标

• 通过使智能体在每个回合后能自主恢复环境，减少在真实世界强化学习中对人工重置的依赖。
• 通过提前中止可能导致不可逆状态的轨迹，提升训练过程的安全性。
• 通过学习恢复策略，自动诱导课程学习，随着智能体能力的提升逐步增加任务难度。
• 通过确保所有状态均可通过学习到的恢复策略恢复，实现复杂环境中持续且可扩展的强化学习。

提出的方法

• 该框架联合训练用于任务执行的前向策略和用于环境恢复的恢复策略，两种策略在交替的回合中进行优化。
• 恢复策略的价值函数用于估计到达初始状态的代价，当前向策略接近不可逆状态时，可实现基于不确定性的早期中止。
• 使用Q网络的集成来估计价值函数中的不确定性，降低偏差并提高早期中止决策的可靠性。
• 该方法采用风险感知的目标函数，平衡探索与可恢复性，确保智能体仅探索其可返回的状态。
• 恢复策略被训练以最小化与初始状态的距离，其成功逐步扩大了安全且可恢复状态的集合。
• 该方法自然地诱导出课程学习：随着恢复策略的改进，前向策略的初始状态逐渐远离目标，从而逐步增加任务难度。

实验结果

研究问题

• RQ1 强化学习智能体能否学会在每个回合后自主恢复环境，从而完全消除对人工重置的依赖？
• RQ2 基于值函数的恢复策略能否在不可逆状态发生前进行预测并加以预防，从而提升训练安全性？
• RQ3 学习恢复策略是否能自动创建课程，从而实现稀疏奖励任务的学习？
• RQ4 价值函数中的不确定性估计如何影响学习过程的鲁棒性与样本效率？

主要发现

• 在钉子插入任务中，经过一百万次训练步骤后，该方法将硬性人工重置次数减少至接近零，使原本依赖人工重置的基线方法无法成功学习的任务得以成功训练。
• 使用50个Q网络的集成进行不确定性估计，显著提升了学习稳定性，并减少了硬性重置次数，相比单个网络效果更优。
• 该算法在钉子插入任务中自动诱导出课程学习，使智能体能够解决原本因随机探索而无法学习的稀疏奖励环境。
• 实验表明，恢复策略的价值函数随时间推移不断扩展覆盖范围，使智能体能够安全地探索更复杂、更远距离的状态。
• 该方法实现了稳定的学习过程，几乎无需人工干预，证明了其在真实世界机器人领域实现长期、可扩展强化学习的可行性。
• 即使在缺乏密集奖励的情况下，该方法仍通过提升恢复能力逐步增加初始状态分布的难度，成功实现了策略学习。