[论文解读] Balance Between Efficient and Effective Learning: Dense2Sparse Reward Shaping for Robot Manipulation with Environment Uncertainty

Yongle Luo, Kun Dong+4 more|arXiv (Cornell University)|Mar 5, 2020

Reinforcement Learning in Robotics参考文献 44被引用 5

一句话总结

本文提出Dense2Sparse，一种奖励塑形方法，结合密集奖励以实现快速初始学习，以及稀疏奖励以实现最终策略优化，在机器人操作任务中实现了卓越的样本效率和对环境不确定性的鲁棒性。该方法在传感器噪声环境下优于单独使用密集或稀疏奖励，且在复杂任务（如抓举）中实现了接近最优策略的性能，成功率高且方差低。

ABSTRACT

Efficient and effective learning is one of the ultimate goals of the deep reinforcement learning (DRL), although the compromise has been made in most of the time, especially for the application of robot manipulations. Learning is always expensive for robot manipulation tasks and the learning effectiveness could be affected by the system uncertainty. In order to solve above challenges, in this study, we proposed a simple but powerful reward shaping method, namely Dense2Sparse. It combines the advantage of fast convergence of dense reward and the noise isolation of the sparse reward, to achieve a balance between learning efficiency and effectiveness, which makes it suitable for robot manipulation tasks. We evaluated our Dense2Sparse method with a series of ablation experiments using the state representation model with system uncertainty. The experiment results show that the Dense2Sparse method obtained higher expected reward compared with the ones using standalone dense reward or sparse reward, and it also has a superior tolerance of system uncertainty.

研究动机与目标

• 解决机器人操作中深度强化学习（DRL）的效率与有效性之间的权衡问题。
• 克服在不确定环境中稀疏奖励（收敛缓慢）和密集奖励（对奖励噪声敏感）的局限性。
• 开发一种奖励塑形策略，利用密集反馈实现快速学习，利用稀疏反馈实现抗噪声的策略优化。
• 在系统不确定性（如摄像头错位）下评估该方法，以证明其在类真实世界条件下的鲁棒性。

提出的方法

• 使用基于ResNet34的状态表征模型，从单目相机图像中估计目标物体位置，从而实现密集奖励的计算。
• 在早期训练阶段应用密集奖励，通过连续反馈引导智能体向次优但可行的策略发展。
• 在积累足够经验后，逐步从密集奖励切换到稀疏奖励，实现无噪声的策略优化。
• 将Dense2Sparse策略与异策略DRL算法集成，保持与标准训练流程的兼容性。
• 利用经验回放缓冲区存储成功轨迹，使稀疏奖励阶段能够纠正由噪声密集奖励引起的偏差。
• 实施两阶段训练策略：第一阶段使用密集奖励以促进探索和快速收敛，第二阶段使用稀疏奖励进行最终优化。

实验结果

研究问题

• RQ1 混合奖励塑形策略是否能在机器人操作的DRL中平衡学习效率与有效性？
• RQ2 Dense2Sparse在系统不确定性（如传感器噪声或摄像头错位）下的表现如何？
• RQ3 与单独使用任一奖励类型相比，从密集奖励切换到稀疏奖励是否能提升最终策略性能？
• RQ4 在复杂操作任务中，Dense2Sparse在多大程度上降低了对状态和奖励信号噪声的敏感性？

主要发现

• Dense2Sparse方法在抓举任务中实现了约350的最终episode奖励，显著优于单独使用密集奖励（≈260）和稀疏奖励（≈260）。
• Dense2Sparse策略的成功率达到99%，标准差接近零，与Oracle策略一致；而单独使用密集和稀疏奖励的方法成功率分别为65%和60%。
• 在系统不确定性增加（如摄像头对准偏移）的情况下，Dense2Sparse保持了稳定的收敛速度和性能，表现出对噪声的强大鲁棒性。
• 该方法对奖励误差累积表现出更优的容忍度，避免了仅使用密集奖励训练中常见的次优策略。
• 消融实验表明，两阶段策略（先密集后稀疏）相比单独使用任一方法，能实现更快的收敛速度和更优的最终性能。
• 尽管使用了不完美的状态表征，该方法在复杂任务中仍实现了接近Oracle的性能，证明了其在不确定环境中的有效性。