[论文解读] From Reinforcement Learning to Optimal Control: A unified framework for sequential decisions

Warren B. Powell|arXiv (Cornell University)|Dec 7, 2019

Reinforcement Learning in Robotics被引用 8

一句话总结

本文提出了一套统一的框架，用于处理不确定性下的序列决策问题，通过识别四种通用策略类别，将15个不同的研究领域——包括随机最优控制和强化学习——统一起来。文章指出，尽管这两个领域解决类似的问题，但强化学习基于离散MDP的根源限制了其适用范围，而所提出的框架受随机控制启发，能够在多样化应用中实现可扩展、灵活的建模与策略设计。

ABSTRACT

There are over 15 distinct communities that work in the general area of sequential decisions and information, often referred to as decisions under uncertainty or stochastic optimization. We focus on two of the most important fields: stochastic optimal control, with its roots in deterministic optimal control, and reinforcement learning, with its roots in Markov decision processes. Building on prior work, we describe a unified framework that covers all 15 different communities, and note the strong parallels with the modeling framework of stochastic optimal control. By contrast, we make the case that the modeling framework of reinforcement learning, inherited from discrete Markov decision processes, is quite limited. Our framework (and that of stochastic control) is based on the core problem of optimizing over policies. We describe four classes of policies that we claim are universal, and show that each of these two fields have, in their own way, evolved to include examples of each of these four classes.

研究动机与目标

• 解决15个从事不确定性下序列决策问题的研究社区之间的碎片化问题。
• 证明随机最优控制的建模框架比强化学习所采用的离散MDP框架更具灵活性和可扩展性。
• 识别并形式化四种涵盖所有已知序列决策策略的通用策略元类别。
• 论证随机最优控制与强化学习都隐含地使用了全部四类策略，但后者受限于其基础假设。
• 通过展示其核心问题可被统一于一个通用且可推广的建模框架下，拓展两个领域的适用范围。

提出的方法

• 提出一种基于在策略上进行优化的通用建模框架，使用状态变量、决策、外生信息和转移函数。
• 采用随机控制的建模语言——包括状态动态、信息结构和性能度量——并对其进行调整以实现广泛适用性。
• 提出四种通用策略类别：(1) 查找表，(2) 值函数近似（VFAs），(3) 策略函数近似（PFAs），以及(4) 成本函数近似（CFAs），包括参数化形式。
• 证明随机最优控制与强化学习均使用了全部四类策略，尽管强化学习的MDP基础限制了其适用性。
• 通过多智能体储能问题说明该框架在真实场景中的灵活性与可扩展性。
• 主张该框架涵盖基于模型与不基于模型的方法，并支持混合策略设计。

实验结果

研究问题

• RQ1 如何构建一个统一框架，以涵盖所有15个从事不确定性下序列决策问题的研究社区？
• RQ2 为何基于离散马尔可夫决策过程的强化学习框架不足以建模现实世界的序列决策问题？
• RQ3 能够表示所有已知序列决策策略的四种通用策略元类别是什么？
• RQ4 所提出的框架如何将随机最优控制与强化学习的适用范围扩展至其传统问题领域之外？
• RQ5 在复杂、随机的环境中，参数化成本函数近似（CFAs）相较于值函数近似或前瞻方法有何优势？

主要发现

• 所提出的框架普遍适用于所有15个从事不确定性下序列决策问题的研究社区，其适用范围远超传统强化学习的狭窄范畴。
• 随机最优控制的建模框架显著优于强化学习所采用的离散MDP框架，后者严重限制了其在现实世界中的适用性。
• 所有四类策略——查找表、值函数近似、策略函数近似和成本函数近似——在随机最优控制与强化学习社区中均被隐式或显式地使用。
• 参数化成本函数近似（CFAs）常被视为启发式方法，但研究表明其极为有效，因其嵌入了领域知识，且可在真实随机模型中进行调优，优于简化的前瞻方法。
• 该框架通过将每个智能体视为具有独立状态、决策与信息的系统，实现了多智能体系统的建模，避免了全局系统状态的不切实际假设。
• 本文结论认为，强化学习作为一个领域，应重新定义为适用于序列决策问题中任何策略的一般方法论，而不仅限于Q-learning或深度强化学习，从而在统一的理论框架下与随机最优控制实现融合。