[论文解读] Joint Inference of Reward Machines and Policies for Reinforcement Learning

Zhe Xu, Ivan Gavran+5 more|arXiv (Cornell University)|Sep 12, 2019

Receptor Mechanisms and Signaling被引用 12

一句话总结

该论文提出了一种联合推理奖励机器与策略（JIRP）的迭代算法，当初始时缺乏高层级奖励结构时，该算法在强化学习中联合学习奖励机器与策略。通过利用强化学习轨迹中的反例不断优化假设，并在奖励机器状态之间转移Q函数，JIRP 几乎必然收敛至最优策略，在自动驾驶、办公室导航和Minecraft任务等稀疏奖励环境中，其性能优于标准Q-learning和分层强化学习。

ABSTRACT

Incorporating high-level knowledge is an effective way to expedite reinforcement learning (RL), especially for complex tasks with sparse rewards. We investigate an RL problem where the high-level knowledge is in the form of reward machines, i.e., a type of Mealy machine that encodes the reward functions. We focus on a setting in which this knowledge is a priori not available to the learning agent. We develop an iterative algorithm that performs joint inference of reward machines and policies for RL (more specifically, q-learning). In each iteration, the algorithm maintains a hypothesis reward machine and a sample of RL episodes. It derives q-functions from the current hypothesis reward machine, and performs RL to update the q-functions. While performing RL, the algorithm updates the sample by adding RL episodes along which the obtained rewards are inconsistent with the rewards based on the current hypothesis reward machine. In the next iteration, the algorithm infers a new hypothesis reward machine from the updated sample. Based on an equivalence relationship we defined between states of reward machines, we transfer the q-functions between the hypothesis reward machines in consecutive iterations. We prove that the proposed algorithm converges almost surely to an optimal policy in the limit if a minimal reward machine can be inferred and the maximal length of each RL episode is sufficiently long. The experiments show that learning high-level knowledge in the form of reward machines can lead to fast convergence to optimal policies in RL, while standard RL methods such as q-learning and hierarchical RL methods fail to converge to optimal policies after a substantial number of training steps in many tasks.

研究动机与目标

• 解决在初始阶段缺乏高层级任务结构信息的稀疏奖励强化学习挑战。
• 开发一种迭代方法，联合推断奖励机器与策略，以提升样本效率与收敛速度。
• 使智能体能够通过经验与反例发现隐含的任务层次结构及子任务之间的结构关系。
• 在最小化奖励机器推断与足够长轨迹长度的条件下，证明几乎必然收敛至最优策略。
• 在复杂且稀疏奖励的环境中（如自主导航与Minecraft任务）优于标准Q-learning与分层强化学习。

提出的方法

• 维护一个假设的奖励机器与一组强化学习轨迹样本，通过利用观测奖励与当前假设矛盾的反例，迭代地优化奖励机器与样本。
• 基于当前奖励机器假设推导Q函数，并使用这些Q函数执行标准Q-learning更新。
• 收集并添加反例轨迹（即实际奖励与当前奖励机器预测不一致的轨迹）至样本中，以改进假设推断。
• 采用自动机学习技术，从更新后的轨迹样本中推断出更精确的奖励机器假设。
• 在连续奖励机器假设的等价状态之间转移Q函数，以加速学习并提升样本效率。
• 采用多项式时间学习算法以实现高效的奖励机器推断，并使用周期性批量更新策略以控制推断频率。

实验结果

研究问题

• RQ1 当高层级任务结构初始未知时，强化学习智能体能否联合推断出奖励机器与最优策略？
• RQ2 如何有效利用强化学习轨迹中的反例，随时间逐步优化奖励机器假设？
• RQ3 在联合推断框架中，何种条件可确保几乎必然收敛至最优策略？
• RQ4 在连续奖励机器的等价状态之间转移Q函数，如何提升学习效率？
• RQ5 所提出方法在稀疏奖励环境中，相较于标准Q-learning与分层强化学习，性能提升的幅度如何？

主要发现

• 在自动驾驶场景中，JIRP在100,000次训练步内收敛至最优策略，而基线方法在两百万次训练步后仍停留在接近零的累积奖励水平。
• 在办公室世界与Minecraft场景中，JIRP均实现了最优平均累积奖励，而基线方法在相同训练时长内仅达到最优性能的约60%。
• 在最终迭代中推断出的奖励机器准确捕捉了必要的任务顺序与依赖关系，如“先获取原木再使用工作台”或“收集材料后使用工厂”。
• 反例收集的使用显著提升了假设质量，使后期迭代中的奖励机器能正确建模任务结构与奖励逻辑。
• 在连续奖励机器的等价状态之间转移Q函数，有助于加快收敛并降低样本复杂度。
• 该算法在多种环境（包括导航、资源收集与合成任务）中表现出鲁棒性，且在所有场景中均持续优于基线方法。