[论文解读] Curiosity-Driven Multi-Criteria Hindsight Experience Replay

John B. Lanier, Stephen McAleer+1 more|arXiv (Cornell University)|Jun 9, 2019

Psychological and Educational Research Studies参考文献 39被引用 11

一句话总结

该论文提出了一种新颖的强化学习框架，结合了好奇心驱动的探索、课程学习和多准则事后经验回放（HER），在无需人类示范的情况下解决了模拟环境中的稀疏奖励积木堆叠任务。该方法首次仅通过内在好奇心和HER成功实现了超过两块积木的堆叠，在增量奖励下四块积木堆叠的成功率为79%，在二元奖励下三块积木堆叠的成功率为95%。

ABSTRACT

Dealing with sparse rewards is a longstanding challenge in reinforcement learning. The recent use of hindsight methods have achieved success on a variety of sparse-reward tasks, but they fail on complex tasks such as stacking multiple blocks with a robot arm in simulation. Curiosity-driven exploration using the prediction error of a learned dynamics model as an intrinsic reward has been shown to be effective for exploring a number of sparse-reward environments. We present a method that combines hindsight with curiosity-driven exploration and curriculum learning in order to solve the challenging sparse-reward block stacking task. We are the first to stack more than two blocks using only sparse reward without human demonstrations.

研究动机与目标

• 解决复杂、稀疏奖励的机器人操作任务（如多块积木堆叠）的挑战，因为标准强化学习在缺乏探索和稀疏奖励的情况下会失效。
• 克服标准事后经验回放（HER）在多准则环境中存在的局限性，因为在这些环境中目标难以通过随机探索发现。
• 提出一种方法，通过结合内在好奇心与结构化课程和多准则HER，在高维、稀疏奖励环境中实现样本高效的训练。
• 证明好奇心、课程学习和多准则HER的整合对于在无任何人类示范的情况下解决最困难的积木堆叠任务至关重要。

提出的方法

• 使用学习到的动力学模型计算预测误差作为内在好奇心奖励，激励智能体探索新颖的状态转移。
• 以异策略方式将好奇心驱动的探索与标准策略滚动更新相结合，使用独立的网络分别处理好奇心（πc）和标准策略（πr），并通过经验回放混合两种数据流。
• 实现一种多准则事后经验回放机制，使智能体能够基于多个子目标（例如，单个积木的位置）重标记转移，从而在多准则任务中提高样本效率。
• 设计一个包含三个阶段的课程：堆叠一块积木、堆叠两块积木，以及堆叠三块或四块积木，以实现渐进式技能习得。
• 在训练过程中应用参数空间噪声和动作噪声，以提升探索能力和策略泛化性能。
• 使用DDPG与HER进行训练，整合好奇心和课程学习，以在日益复杂的任务中平衡探索与利用。

实验结果

研究问题

• RQ1 当与事后经验回放结合时，好奇心驱动的探索是否能够使智能体在无任何人类示范的情况下解决稀疏奖励的机器人操作任务？
• RQ2 多准则HER在类似积木堆叠的多目标环境中，如何提升样本效率和学习性能？
• RQ3 课程学习在多大程度上增强了智能体学习复杂、分层任务（如堆叠多块积木）的能力？
• RQ4 好奇心、课程学习和多准则HER在解决最困难的积木堆叠任务中各自贡献如何？
• RQ5 这些技术的组合是否能够解决在二元（稀疏）奖励下堆叠超过两块积木的任务，而此前的方法均告失败？

主要发现

• 所提出的方法在二元奖励下实现了三块积木堆叠95%的成功率，而原始DDPG+HER及其他基线方法均未能解决该任务。
• 在增量奖励设置下，该方法在四块积木堆叠任务中达到了79%的成功率，表明其可扩展至更高复杂度。
• 在二元奖励下解决三块积木堆叠任务时，好奇心驱动的探索至关重要，因为若无该机制则完全无进展。
• 多准则HER显著提升了样本效率，并且是解决三块和四块积木堆叠任务的必要条件。
• 课程学习不可或缺；任何方法在未先在课程早期阶段训练的情况下均无法在目标任务上取得成功。
• 三者——好奇心、课程学习和多准则HER——的结合是解决最困难积木堆叠环境的必要条件，因为单独任一组件均不足以达成目标。