[论文解读] A new Potential-Based Reward Shaping for Reinforcement Learning Agent

Babak Badnava, Mona Esmaeili+2 more|arXiv (Cornell University)|Feb 17, 2019

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出了一种新颖的基于势函数的奖励塑形方法，通过利用智能体自身学习过程中的累计奖励，实现动态奖励塑形。通过基于相对性能（例如，与最佳/最差episode相比）建模势函数，该方法在单任务和多任务强化学习环境中均加速了学习，显著提升了Atari游戏（如Breakout和Pong）中的学习速度和最终性能。

ABSTRACT

Potential-based reward shaping (PBRS) is a particular category of machine learning methods which aims to improve the learning speed of a reinforcement learning agent by extracting and utilizing extra knowledge while performing a task. There are two steps in the process of transfer learning: extracting knowledge from previously learned tasks and transferring that knowledge to use it in a target task. The latter step is well discussed in the literature with various methods being proposed for it, while the former has been explored less. With this in mind, the type of knowledge that is transmitted is very important and can lead to considerable improvement. Among the literature of both the transfer learning and the potential-based reward shaping, a subject that has never been addressed is the knowledge gathered during the learning process itself. In this paper, we presented a novel potential-based reward shaping method that attempted to extract knowledge from the learning process. The proposed method extracts knowledge from episodes' cumulative rewards. The proposed method has been evaluated in the Arcade learning environment and the results indicate an improvement in the learning process in both the single-task and the multi-task reinforcement learner agents.

研究动机与目标

• 解决在迁移学习和奖励塑形中尚未充分探索的从学习过程本身提取知识的空白。
• 开发一种利用过去episode性能反馈来指导未来学习的方法。
• 在不改变最优策略的前提下，提升强化学习中的样本效率和学习速度。
• 将该方法扩展至多任务强化学习，其中每个任务均保持其自身的优化势函数。
• 在Arcade Learning Environment中，通过标准基线对方法进行实证验证。

提出的方法

• 该方法基于智能体episode奖励R^ep(i)相对于上界R_u^ep(t,i)和下界R_l^ep(t,i)的相对性能，定义势函数φ(s,a,t,i)。
• 当R(s,a) ≠ 0时，势函数构造为φ(s,a,t,i) = 1 + (R^ep(i) - R_u^ep(t,i)) / (R_u^ep(t,i) - R_l^ep(t,i))，否则为0。
• 奖励塑形函数F通过标准PBRS公式F(s,s') = γφ(s') - φ(s)从势函数推导得出，从而保持最优策略不变。
• 该方法在训练过程中使用运行估计的episode奖励边界，动态更新势函数。
• 该方法与任何强化学习算法兼容，并已应用于Q-learning和策略梯度方法。
• 在多任务强化学习中，该方法在势函数中使用任务特定参数（公式23），确保每个任务均保持其自身的最优策略。

实验结果

研究问题

• RQ1 能否从智能体自身学习过程（特别是episode累计奖励）中提取知识，以提升强化学习中的样本效率？
• RQ2 基于相对性能（如最佳vs.最差episode）进行奖励塑形，如何影响学习速度和最终策略质量？
• RQ3 所提出的方法能否有效扩展至多任务强化学习，同时保持任务特定的最优策略？
• RQ4 在Sparse-reward环境（如Atari游戏）中，该方法是否优于标准基线？

主要发现

• 在Breakout环境中，所提方法在学习曲线下的面积高于两个基线，表明学习速度更快且最终性能更优。
• 在Pong环境中，该方法表现出适度改进，其学习曲线下的面积大于一个基线，但相较于Breakout，增益不那么显著。
• 对于同时学习Pong和Breakout的多任务智能体，该方法在100次测试episode中的平均性能优于无奖励塑形的基线。
• 通过使用有效的势函数，该方法在所有测试环境中均成功保持了最优策略，符合PBRS理论。
• 该方法在两种假设下均表现稳健：当最大和最小episode奖励已知时，以及在训练过程中进行估计时。
• 结果表明，从episode级性能中提取的自我知识可显著提升强化学习中的学习速度和策略质量。