[论文解读] Designing Rewards for Fast Learning

Henry Sowerby, Zhiyuan Zhou+1 more|arXiv (Cornell University)|May 30, 2022

Auction Theory and Applications被引用 8

一句话总结

本文提出一种基于线性规划的方法来设计奖励函数，通过最大化动作差距并最小化一种新提出的度量——'主观折扣'（subjective discount），以加速强化学习。主观折扣衡量的是必须进行最优决策的有效规划时域。实验表明，采用此方法设计的奖励在使用Q-Learning的表格型环境中可显著加快学习速度，关键原则包括对动作施加惩罚、逐步提高子目标奖励以及精心设计密集奖励。

ABSTRACT

To convey desired behavior to a Reinforcement Learning (RL) agent, a designer must choose a reward function for the environment, arguably the most important knob designers have in interacting with RL agents. Although many reward functions induce the same optimal behavior (Ng et al., 1999), in practice, some of them result in faster learning than others. In this paper, we look at how reward-design choices impact learning speed and seek to identify principles of good reward design that quickly induce target behavior. This reward-identification problem is framed as an optimization problem: Firstly, we advocate choosing state-based rewards that maximize the action gap, making optimal actions easy to distinguish from suboptimal ones. Secondly, we propose minimizing a measure of the horizon, something we call the "subjective discount", over which rewards need to be optimized to encourage agents to make optimal decisions with less lookahead. To solve this optimization problem, we propose a linear-programming based algorithm that efficiently finds a reward function that maximizes action gap and minimizes subjective discount. We test the rewards generated with the algorithm in tabular environments with Q-Learning, and empirically show they lead to faster learning. Although we only focus on Q-Learning because it is perhaps the simplest and most well understood RL algorithm, preliminary results with R-max (Brafman and Tennenholtz, 2000) suggest our results are much more general. Our experiments support three principles of reward design: 1) consistent with existing results, penalizing each step taken induces faster learning than rewarding the goal. 2) When rewarding subgoals along the target trajectory, rewards should gradually increase as the goal gets closer. 3) Dense reward that's nonzero on every state is only good if designed carefully.

研究动机与目标

• 识别在存在多个正确奖励函数可产生相同最优策略的前提下，能加速强化学习的奖励设计原则。
• 通过引入'主观折扣'作为有效规划时域的度量，形式化奖励结构对学习速度的影响。
• 开发一个优化框架，生成最大化动作差距并最小化主观折扣的奖励函数，以实现更快收敛。
• 通过实证验证，具有良好设计的奖励——尤其是包含动作惩罚或逐步提升子目标奖励的奖励——相比稀疏奖励或结构不良的密集奖励，能实现更快的策略对齐。

提出的方法

• 将奖励设计问题建模为一个线性规划问题，目标是在给定折扣因子下，最大化最优动作与次优动作之间的动作差距。
• 引入'主观折扣'作为最小折扣因子，低于该值时目标策略仍保持最优，从而实现对不同奖励函数之间有效规划时域的比较。
• 使用二分查找计算每个候选奖励函数的主观折扣，以实现该度量的高效优化。
• 将基于状态的奖励设计为状态特征的线性组合，确保可解释性，并可扩展至结构化环境。
• 同时优化高动作差距与低主观折扣，平衡策略区分度的清晰性与减少前瞻需求。
• 将该方法应用于网格世界和链式MDP中，生成奖励函数，并通过Q-Learning中的累积正确动作数评估学习速度。

实验结果

研究问题

• RQ1 在诱导相同最优策略的前提下，不同奖励函数在学习速度上如何差异？
• RQ2 奖励函数的哪些结构特性可导致Q-Learning中更快的收敛？
• RQ3 我们能否定义一个度量来捕捉奖励函数的有效规划时域，并利用它指导奖励设计？
• RQ4 当设计得当时，动作惩罚、子目标奖励和密集奖励在多大程度上能提升学习速度？
• RQ5 所提出的优化方法在Q-Learning之外是否具有泛化能力，适用于其他强化学习算法？

主要发现

• 对每个动作施加惩罚的奖励比仅基于目标的奖励学习更快，其主观折扣为0.9249，而仅目标奖励则无明确的主观折扣。
• 由线性规划生成的逐步提升子目标奖励的主观折扣为0.8232，显著低于恒定子目标奖励的0.9510，从而实现更快学习。
• 线性规划生成的'组合'奖励（结合惩罚与奖励）的主观折扣为0.9238，优于仅目标奖励和恒定子目标奖励。
• 具有锯齿状、非均匀模式的密集奖励函数（例如交替的正负值）可实现极低的主观折扣0.2128，从而实现极快的学习速度。
• 动作差距接近零（0.0024）的密集奖励性能极差，表明并非所有密集奖励都有益——设计质量至关重要。
• 该方法的有效性不仅限于Q-Learning：与R-max的初步结果表明，这些原则可泛化至其他强化学习算法。