[论文解读] A Theory of Abstraction in Reinforcement Learning

David Abel|arXiv (Cornell University)|Mar 1, 2022

Evolutionary Algorithms and Applications被引用 5

一句话总结

本论文提出了一种强化学习中抽象的正式理论，定义了三个核心期望：保持近似最优行为、高效学习与构建，以及减少规划或学习时间。该研究引入了新颖的算法与理论分析，使智能体能够学习有效的抽象，显著降低强化学习的复杂性，同时保持性能。

ABSTRACT

Reinforcement learning defines the problem facing agents that learn to make good decisions through action and observation alone. To be effective problem solvers, such agents must efficiently explore vast worlds, assign credit from delayed feedback, and generalize to new experiences, all while making use of limited data, computational resources, and perceptual bandwidth. Abstraction is essential to all of these endeavors. Through abstraction, agents can form concise models of their environment that support the many practices required of a rational, adaptive decision maker. In this dissertation, I present a theory of abstraction in reinforcement learning. I first offer three desiderata for functions that carry out the process of abstraction: they should 1) preserve representation of near-optimal behavior, 2) be learned and constructed efficiently, and 3) lower planning or learning time. I then present a suite of new algorithms and analysis that clarify how agents can learn to abstract according to these desiderata. Collectively, these results provide a partial path toward the discovery and use of abstraction that minimizes the complexity of effective reinforcement learning.

研究动机与目标

• 解决在数据和计算资源有限的复杂环境中，使强化学习智能体能够有效泛化的问题。
• 通过识别三个关键期望，正式化强化学习中抽象的概念：保持近似最优行为、高效构建，以及减少规划/学习时间。
• 开发满足这些期望的抽象学习算法，以实现更高效、可扩展的强化学习。
• 提供理论与实证分析，证明抽象如何降低有效强化学习的复杂性。
• 弥合人类认知中的抽象推理与人工智能智能体中可扩展、有原则的抽象之间的差距。

提出的方法

• 为抽象函数定义三个期望：(1) 保持近似最优行为的表示，(2) 可高效学习与构建，(3) 减少规划或学习时间。
• 提出新算法以发现满足期望的状态-动作抽象，包括通过最小化覆盖时间实现的选项发现与保持价值的抽象。
• 在模仿学习中应用基于压缩的原理进行状态抽象，将抽象视为一种信息压缩形式。
• 通过理论分析证明，满足期望的抽象可导致规划与学习复杂性得到可证明的降低。
• 利用层级强化学习框架（如选项与封建网络）在结构化环境中实例化并评估抽象。
• 将抽象整合到终身学习与迁移学习设置中，实现在不同任务间进行策略与价值函数的迁移。

实验结果

研究问题

• RQ1 如何正式定义强化学习中的抽象，以确保其支持有效的决策？
• RQ2 抽象函数必须满足的最小化、有原则的标准（期望）是什么，才能在强化学习中有用？
• RQ3 我们能否设计出在最小化规划与学习时间的同时，学习满足期望的抽象的算法？
• RQ4 在实践中，抽象如何降低强化学习的复杂性？这种降低是否可进行定量分析？
• RQ5 抽象在多任务间可迁移的程度如何？其能否用于加速强化学习中的终身学习？

主要发现

• 所提出的理论确立了强化学习中抽象的三个正式期望：保持近似最优行为、高效可学习性，以及规划或学习时间的减少。
• 诸如最小化覆盖时间以实现选项发现的算法被证明能有效学习抽象，从而减少探索时间并提高样本效率。
• 保持价值的状态-动作抽象被证明可在显著降低状态空间复杂性的同时，维持近似最优性能。
• 理论分析证实，满足期望的抽象可导致规划与学习时间的可证明降低，尤其在大型MDP中表现显著。
• 在模仿学习中，基于压缩的抽象被证明能保留专家行为，同时实现更高效的策略学习。
• 终身学习与迁移学习实验表明，所学习的抽象可在不同任务间复用，从而加速策略迁移与价值函数学习。