[论文解读] Monte Carlo Augmented Actor-Critic for Sparse Reward Deep Reinforcement Learning from Suboptimal Demonstrations

Albert Wilcox, Ashwin Balakrishna+4 more|arXiv (Cornell University)|Oct 14, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出蒙特卡洛增强演员-critic（MCAC），一种无需超参数的演员-critic强化学习增强方法，通过使用次优示范初始化经验回放缓冲区，并将修改后的Q值定义为标准时序差分目标与蒙特卡罗奖励到终点估计的最大值，从而在稀疏奖励环境中提升样本效率。MCAC显著加速了六种标准及模仿学习增强的强化学习算法在五个连续控制任务中的学习过程，使基线方法无法完成的任务也能可靠完成。

ABSTRACT

Providing densely shaped reward functions for RL algorithms is often exceedingly challenging, motivating the development of RL algorithms that can learn from easier-to-specify sparse reward functions. This sparsity poses new exploration challenges. One common way to address this problem is using demonstrations to provide initial signal about regions of the state space with high rewards. However, prior RL from demonstrations algorithms introduce significant complexity and many hyperparameters, making them hard to implement and tune. We introduce Monte Carlo Augmented Actor Critic (MCAC), a parameter free modification to standard actor-critic algorithms which initializes the replay buffer with demonstrations and computes a modified $Q$-value by taking the maximum of the standard temporal distance (TD) target and a Monte Carlo estimate of the reward-to-go. This encourages exploration in the neighborhood of high-performing trajectories by encouraging high $Q$-values in corresponding regions of the state space. Experiments across $5$ continuous control domains suggest that MCAC can be used to significantly increase learning efficiency across $6$ commonly used RL and RL-from-demonstrations algorithms. See https://sites.google.com/view/mcac-rl for code and supplementary material.

研究动机与目标

• 解决深度强化学习中稀疏奖励函数导致的样本效率低下问题。
• 在不引入复杂算法组件的前提下，提升稀疏奖励连续控制任务中的探索与学习效率。
• 开发一种简单、即插即用的方法，利用示范增强现有演员-critic算法，且无需额外超参数。
• 在奖励稀疏的情况下，加速标准强化学习与模仿学习增强算法的收敛并提升性能。

提出的方法

• 使用一组次优专家示范初始化经验回放缓冲区，以提供初始策略与价值函数信号。
• 在评论家更新过程中，通过取标准时序差分（TD）目标与奖励到终点的蒙特卡罗估计的最大值，修改Q值目标。
• 利用蒙特卡罗估计，更好地将成功轨迹中的长期密集奖励回传至早期状态，减少价值低估。
• 将修改后的Q目标应用于标准演员-critic算法（如SAC、TD3和GQE），以及模仿学习算法（如OEFD、CQL和AWAC）。
• 通过避免引入额外损失项、超参数或网络结构变化，确保方法保持无超参数特性。
• 在训练初期利用高性能轨迹邻域的乐观性，鼓励探索，同时允许随时间逐步优化。

实验结果

研究问题

• RQ1 对Q值目标进行简单、无超参数的修改，是否能提升稀疏奖励深度强化学习中的样本效率？
• RQ2 当MCAC应用于SAC和TD3等标准演员-critic算法时，在稀疏奖励环境中表现如何？
• RQ3 MCAC在稀疏奖励设置下，对CQL、AWAC和OEFD等模仿学习算法的性能提升程度如何？
• RQ4 MCAC是否能稳定在线微调阶段的学习，避免基线方法出现性能崩溃？
• RQ5 MCAC在何种情况下会失效或阻碍学习，特别是在密集奖励环境中？

主要发现

• MCAC使SAC和TD3在Pointmass Navigation和Block Lifting任务中实现任务完成，而基线方法在无MCAC时完全无进展。
• 在Sequential Pushing和Block Extraction任务中，MCAC加速了OEFD和AWAC的学习并提升了最终性能，稳定了训练过程，而基线版本则失败。
• 对于CQL，MCAC在Pointmass Navigation、Block Extraction和Sequential Pushing任务中实现了可靠学习，而原始CQL模型几乎无进展。
• MCAC在所有五个测试的连续控制领域中均提升了性能，且在SAC、TD3、GQE、OEFD、CQL和AWAC等多种算法中均表现出一致的增益。
• 在密集奖励环境中，MCAC可能因Q值高估而阻碍学习，表明其在稀疏奖励场景中效果最佳。
• 在基线算法已能快速收敛的任务中，MCAC未对性能产生负面影响，证实了其安全性与适应性。