[论文解读] Generalizing Across Multi-Objective Reward Functions in Deep Reinforcement Learning

Eli A. Friedman, Fred L. Fontaine|arXiv (Cornell University)|Sep 17, 2018

Mental Health Research Topics被引用 7

一句话总结

本文提出了一种方法，通过在经验回放中引入替代奖励权重，使深度强化学习智能体能够在线性加权多目标奖励函数之间实现泛化。该方法将Hindsight Experience Replay扩展至多目标设置，使单一策略能够实时适应任意奖励权重组合，实现无需重训的连续适应，并在1D和2D控制任务中展示了在时间效率与燃油效率之间不同权衡下的有效泛化能力。

ABSTRACT

Many reinforcement-learning researchers treat the reward function as a part of the environment, meaning that the agent can only know the reward of a state if it encounters that state in a trial run. However, we argue that this is an unnecessary limitation and instead, the reward function should be provided to the learning algorithm. The advantage is that the algorithm can then use the reward function to check the reward for states that the agent hasn't even encountered yet. In addition, the algorithm can simultaneously learn policies for multiple reward functions. For each state, the algorithm would calculate the reward using each of the reward functions and add the rewards to its experience replay dataset. The Hindsight Experience Replay algorithm developed by Andrychowicz et al. (2017) does just this, and learns to generalize across a distribution of sparse, goal-based rewards. We extend this algorithm to linearly-weighted, multi-objective rewards and learn a single policy that can generalize across all linear combinations of the multi-objective reward. Whereas other multi-objective algorithms teach the Q-function to generalize across the reward weights, our algorithm enables the policy to generalize, and can thus be used with continuous actions.

研究动机与目标

• 解决深度强化学习中将奖励函数视为环境固定组成部分的局限性。
• 通过将奖励函数整合进学习算法，使智能体能够泛化至线性加权多目标奖励的分布。
• 使单个训练好的策略能够实时适应新的奖励权重组合，避免重训需求。
• 将Hindsight Experience Replay扩展至多目标设置，实现在多样化奖励标量化下的离策略学习。

提出的方法

• 将奖励权重向量作为状态表示的一部分，集成至经验回放数据集中。
• 对于回放缓冲区中的每个转移，算法通过为同一状态-动作对应用不同的奖励权重，生成k个增强经验。
• 智能体学习一个单一策略，将状态-动作对与奖励权重映射至Q值，从而实现对多目标奖励所有线性组合的泛化。
• 该方法采用离策略深度强化学习与经验回放，其中增强经验与真实转移一并采样。
• 奖励函数显式提供给学习算法，使其能够评估未访问状态的奖励。
• 该算法兼容连续动作空间，可对现有离策略深度强化学习算法进行最小修改后应用。

实验结果

研究问题

• RQ1 深度强化学习智能体能否学习到一个单一策略，使其在多目标奖励函数的所有线性组合上均实现泛化？
• RQ2 增强率k如何影响智能体在不同奖励权重组合上的泛化能力？
• RQ3 智能体能否在不重训的情况下实时适应新的奖励权重？
• RQ4 该方法是否优于需要为每个新奖励权重向量重新训练的标准方法？
• RQ5 性能随奖励权重空间维度增加如何变化？

主要发现

• 智能体成功学习到能够实时适应新奖励权重组合的策略，展示了在基于线性加权的多目标奖励上的有效泛化。
• 在1D双积分器任务中，智能体学习到的策略在旅行时间与燃油消耗之间实现了接近理论最优的权衡，偏差极小。
• 在2D双积分器任务中，智能体根据权重向量正确地优先选择轴1或轴2，表明其成功学习到在不同维度上解耦目标的能力。
• 在1D环境中，最优增强率k被确定为2，表明在经验多样性与学习效率之间达到了良好平衡。
• 该方法实现了对新奖励权重的持续适应而无需重训，显著减少了在不同偏好配置下重复训练策略的需求。
• 结果表明，即使在高维权重空间中，对奖励权重的策略泛化也是可行且高效的，且对现有深度强化学习框架的修改极小。