[论文解读] Hierarchical Reinforcement Learning using Spatio-Temporal Abstractions and Deep Neural Networks.

Ramnandan Krishnamurthy, Aravind S. Lakshminarayanan+2 more|arXiv (Cornell University)|May 17, 2016

Reinforcement Learning in Robotics参考文献 27被引用 19

一句话总结

本文提出了一种分层强化学习框架，通过在状态空间动力学上使用谱聚类（PCCA+）自动发现抽象状态和技能，实现在无先验MDP模型的情况下，跨任务高效且可重用的策略学习。通过利用时空抽象和深度神经网络进行表征学习，该方法加速了学习过程并提升了泛化能力，尤其在视频游戏等复杂环境中表现优异。

ABSTRACT

This paper introduces an automated skill acquisition framework in reinforcement learning which involves identifying a hierarchical description of the given task in terms of abstract states and extended actions between abstract states. Identifying such structures present in the task provides ways to simplify and speed up reinforcement learning learning algorithms. These structures also help to generalize such algorithms over multiple tasks without relearning policies from scratch. We use ideas from dynamical systems to find metastable regions in the state space and associate them with abstract states. The spectral clustering algorithm PCCA+ is used to identify suitable abstractions aligned to the underlying structure. Skills are defined in terms of the transitions between such abstract states. The connectivity information from PCCA+ is used to generate these skills or options. The skills are independent of the learning task and can be efficiently reused across a variety of tasks defined over a common state space. Another major advantage of the approach is that it does not need a prior model of the MDP and can work well even when the MDPs are constructed from sampled trajectories. Finally, we present our attempts to extend the automated skills acquisition framework to complex tasks such as learning to play video games where we use deep learning techniques for representation learning to aid our spatio-temporal abstraction framework.

研究动机与目标

• 自动发现分层结构——抽象状态和扩展动作——在强化学习任务中。
• 通过重用与任务无关的技能，实现在多个任务间高效且可泛化的策略学习。
• 在不依赖先验MDP模型的前提下，利用动力系统理论识别状态空间中的亚稳态区域。
• 整合深度神经网络进行表征学习，以将抽象框架扩展至高维环境。
• 通过采样轨迹在复杂任务（如视频游戏控制）中展示该框架的有效性。

提出的方法

• 利用动力系统理论识别状态空间中的亚稳态区域，将其视为抽象状态。
• 应用PCCA+谱聚类算法将状态空间划分为与底层动力学对齐的抽象状态。
• 从PCCA+中提取连通性信息，将扩展动作（技能）定义为抽象状态之间的转移。
• 构建与任务无关的技能，使其可在共享相同状态空间的不同任务中重用。
• 整合深度神经网络以学习高维状态的低维表征，支持在复杂环境中的抽象。
• 直接在采样轨迹上运行，无需预定义的MDP模型。

实验结果

研究问题

• RQ1 能否自动识别状态空间中的亚稳态区域，以在强化学习中形成有意义的抽象状态？
• RQ2 如何利用PCCA+生成与任务无关的技能，使其可在不同任务中重用？
• RQ3 时空抽象在多大程度上能提升分层强化学习中的样本效率和泛化能力？
• RQ4 深度表征学习能否增强基于抽象的强化学习在高维环境中的可扩展性？
• RQ5 该框架在复杂的真实世界任务（如视频游戏控制）中有多高效？

主要发现

• 该框架成功利用动力系统分析识别出状态空间中的亚稳态区域，为抽象状态的构建奠定了基础。
• PCCA+能够发现与环境底层动力学一致的抽象状态和技能定义。
• 生成的技能与学习任务无关，可在同一状态空间上定义的多个任务中重用。
• 该方法无需先验MDP模型，且在环境采样轨迹上运行有效。
• 与深度神经网络的集成使该框架能够扩展至复杂任务，如视频游戏控制。
• 通过利用源自状态空间结构的分层抽象，该方法提升了跨任务的学习效率和泛化能力。