[论文解读] Active Finite Reward Automaton Inference and Reinforcement Learning Using Queries and Counterexamples

Zhe Xu, Bo Wu+3 more|arXiv (Cornell University)|Jun 28, 2020

Machine Learning and Algorithms参考文献 36被引用 8

一句话总结

该论文提出 AFRAI-RL，一种主动强化学习框架，通过在训练过程中使用 L*-风格查询推断有限奖励自动机，以建模非马尔可夫性、有界奖励函数。通过主动引导探索，利用强化学习回答成员资格查询和等价性查询，该方法在 Office World 和 Minecraft 环境中实现比当前最先进基线方法（如 JIRP-SAT、LRM-QRM 和 PPO2）更快的收敛速度——最快可快 88.8%——尤其是在具有复杂序列奖励结构的环境中。

ABSTRACT

Despite the fact that deep reinforcement learning (RL) has surpassed human-level performances in various tasks, it still has several fundamental challenges. First, most RL methods require intensive data from the exploration of the environment to achieve satisfactory performance. Second, the use of neural networks in RL renders it hard to interpret the internals of the system in a way that humans can understand. To address these two challenges, we propose a framework that enables an RL agent to reason over its exploration process and distill high-level knowledge for effectively guiding its future explorations. Specifically, we propose a novel RL algorithm that learns high-level knowledge in the form of a finite reward automaton by using the L* learning algorithm. We prove that in episodic RL, a finite reward automaton can express any non-Markovian bounded reward functions with finitely many reward values and approximate any non-Markovian bounded reward function (with infinitely many reward values) with arbitrary precision. We also provide a lower bound for the episode length such that the proposed RL approach almost surely converges to an optimal policy in the limit. We test this approach on two RL environments with non-Markovian reward functions, choosing a variety of tasks with increasing complexity for each environment. We compare our algorithm with the state-of-the-art RL algorithms for non-Markovian reward functions, such as Joint Inference of Reward machines and Policies for RL (JIRP), Learning Reward Machine (LRM), and Proximal Policy Optimization (PPO2). Our results show that our algorithm converges to an optimal policy faster than other baseline methods.

研究动机与目标

• 为解决深度强化学习中数据效率低下和可解释性不足的问题，特别是针对非马尔可夫性奖励函数。
• 使强化学习智能体能够从环境交互中主动推断高层级奖励结构（有限奖励自动机）。
• 通过将主动自动机推断与 Q-learning 相结合，提升回合制强化学习中的样本效率和收敛速度。
• 在回合长度存在下界的前提下，提供收敛性的理论保证。
• 在具有复杂、序列化奖励依赖关系的环境中，展示优于当前最先进方法的性能。

提出的方法

• 该框架采用受 L* 学习算法启发的主动推断机制，其中强化学习智能体充当学习者，环境/强化学习引擎充当教师。
• 维护两个 Q-函数：一个用于激励在探索过程中回答成员资格查询，另一个用于评估策略以回答等价性查询。
• 通过查询特定状态-动作序列是否产生特定奖励，从轨迹中推断有限奖励自动机，从而实现对非马尔可夫性奖励函数的表示。
• 推断出的自动机用于引导策略学习，使智能体能够推理长期奖励结构，并在训练过程中实现自我修正。
• 该方法证明，任何具有有限取值的有界非马尔可夫性奖励函数均可被精确表达，而任何具有无限取值的此类函数均可被任意精确地逼近。
• 推导出一个回合长度的理论下界，以确保在极限情况下以几乎必然的方式收敛到最优策略。

实验结果

研究问题

• RQ1 主动推断有限奖励自动机是否能提升非马尔可夫性强化学习中的样本效率和收敛速度？
• RQ2 有限奖励自动机是否能精确表示任何具有有限取值的有界非马尔可夫性奖励函数？
• RQ3 有限奖励自动机是否能以任意精度逼近任何具有无限取值的有界非马尔可夫性奖励函数？
• RQ4 该方法几乎必然收敛到最优策略所需的最小回合长度是多少？
• RQ5 与联合推断或被动推断相比，奖励自动机的主动推断在收敛速度和性能方面表现如何？

主要发现

• 在 Office World 场景中，AFRAI-RL 在约 0.2 百万训练步数内收敛到最优策略（任务 1），而 JIRP-SAT、LRM-QRM 和 PPO2 均未收敛。
• 在 Office World 的任务 2 中，AFRAI-RL 在约 180 万步内收敛，而所有基线方法均未收敛。
• 在 Office World 的任务 3 中，AFRAI-RL 在 400 万步内收敛，优于 JIRP-SAT（450 万步），并超越未收敛的 LRM-QRM 和 PPO2。
• 在 Minecraft 环境中，AFRAI-RL 在任务 1 中 19 万步内收敛，任务 2 中 17 万步内收敛，而所有基线方法均未收敛。
• 在最佳情形下，该方法相比任何基线方法收敛速度最快可快 88.8%，且在其他方法未收敛处成功实现收敛。
• 理论分析确认，若回合长度超过推导出的下界，该方法几乎必然收敛到最优策略。