[论文解读] Control with adaptive Q-learning

João Pedro Araújo, Mário A. T. Figueiredo+1 more|arXiv (Cornell University)|Nov 3, 2020

Reinforcement Learning in Robotics被引用 3

一句话总结

本文提出了一种名为单分区自适应Q学习与终态机制（SPAQL-TS）的可解释、样本高效强化学习算法，适用于有限动作空间的控制任务。通过自适应划分状态-动作空间并学习时不变策略，SPAQL-TS在CartPole环境中的样本效率优于TRPO，同时生成人类可读的策略，而基于神经网络的TRPO则不具备此特性。

ABSTRACT

This paper evaluates adaptive Q-learning (AQL) and single-partition adaptive Q-learning (SPAQL), two algorithms for efficient model-free episodic reinforcement learning (RL), in two classical control problems (Pendulum and Cartpole). AQL adaptively partitions the state-action space of a Markov decision process (MDP), while learning the control policy, i. e., the mapping from states to actions. The main difference between AQL and SPAQL is that the latter learns time-invariant policies, where the mapping from states to actions does not depend explicitly on the time step. This paper also proposes the SPAQL with terminal state (SPAQL-TS), an improved version of SPAQL tailored for the design of regulators for control problems. The time-invariant policies are shown to result in a better performance than the time-variant ones in both problems studied. These algorithms are particularly fitted to RL problems where the action space is finite, as is the case with the Cartpole problem. SPAQL-TS solves the OpenAI Gym Cartpole problem, while also displaying a higher sample efficiency than trust region policy optimization (TRPO), a standard RL algorithm for solving control tasks. Moreover, the policies learned by SPAQL are interpretable, while TRPO policies are typically encoded as neural networks, and therefore hard to interpret. Yielding interpretable policies while being sample-efficient are the major advantages of SPAQL.

研究动机与目标

• 开发一种适用于有限动作空间控制问题的样本高效、可解释强化学习算法。
• 通过强制实施时不变策略，改进现有的自适应Q学习方法。
• 在经典控制基准测试（Pendulum和CartPole）上评估所提算法，重点关注样本效率与策略可解释性。
• 在学习速度与性能方面，将SPAQL-TS与标准深度强化学习算法TRPO进行实证比较。

提出的方法

• 自适应Q学习（AQL）在训练过程中动态划分状态-动作空间，以提升样本效率。
• 单分区自适应Q学习（SPAQL）强制实施时不变策略，即动作映射不依赖于时间步。
• SPAQL-TS引入了终态机制，以提升在控制任务中的性能，尤其在回合制环境中表现更优。
• 该算法在状态-动作空间中使用球形区域进行划分，Q值更新在每个球体内传播。
• 策略提取天然具备可解释性，因为最终策略以状态-动作划分上的查表形式表示。
• 该方法避免使用神经网络，从而可直接解释所学得的控制规则。

实验结果

研究问题

• RQ1 与时间可变策略相比，自适应Q学习中采用时不变策略是否能提升样本效率？
• RQ2 在CartPole控制问题中，SPAQL-TS是否在样本效率上优于TRPO？
• RQ3 可解释的、非神经网络的策略能否在控制任务中达到或超越TRPO等深度强化学习方法的性能？
• RQ4 尽管使用了更简单的函数逼近器，SPAQL-TS为何在早期训练批次中仍优于TRPO？
• RQ5 基于球形区域的自适应划分能否在连续状态-动作空间中有效泛化？

主要发现

• SPAQL-TS成功解决了OpenAI Gym中的CartPole环境，实现了高效的成功控制。
• 在前200个训练批次（40,000个样本）内，SPAQL-TS的样本效率优于TRPO，且最终性能在统计上无显著差异。
• 在Pendulum和CartPole任务中，SPAQL与SPAQL-TS中的时不变策略均优于时间可变策略。
• SPAQL所学得的策略可作为查表形式直接解释，而TRPO的策略则编码于复杂且不可解释的神经网络中。
• 在Pendulum环境中，由于动作空间为连续型，SPAQL与SPAQL-TS未能达到TRPO的性能水平，尽管离散化处理有所帮助。
• 结果表明，基于球形区域的自适应划分在有限动作空间问题（如CartPole）中最为有效。