[论文解读] A Tour of Reinforcement Learning: The View from Continuous Control

Benjamin Recht|arXiv (Cornell University)|Jun 25, 2018

Reinforcement Learning in Robotics参考文献 70被引用 21

一句话总结

本综述通过将强化学习（RL）建模为未知动力学下的最优控制，架起了强化学习（RL）与控制理论之间的桥梁，以线性二次调节器（LQR）作为案例研究。它表明，在LQR问题中，基于模型的RL方法在理论和实践中均显著优于无模型方法，并主张将控制理论工具整合到学习系统中，以在复杂环境中构建安全、可靠的系统。

ABSTRACT

This manuscript surveys reinforcement learning from the perspective of optimization and control with a focus on continuous control applications. It surveys the general formulation, terminology, and typical experimental implementations of reinforcement learning and reviews competing solution paradigms. In order to compare the relative merits of various techniques, this survey presents a case study of the Linear Quadratic Regulator (LQR) with unknown dynamics, perhaps the simplest and best-studied problem in optimal control. The manuscript describes how merging techniques from learning theory and control can provide non-asymptotic characterizations of LQR performance and shows that these characterizations tend to match experimental behavior. In turn, when revisiting more complex applications, many of the observed phenomena in LQR persist. In particular, theory and experiment demonstrate the role and importance of models and the cost of generality in reinforcement learning algorithms. This survey concludes with a discussion of some of the challenges in designing learning systems that safely and reliably interact with complex and uncertain environments and how tools from reinforcement learning and control might be combined to approach these challenges.

研究动机与目标

• 通过将RL建模为具有未知动力学的最优控制，统一强化学习与控制理论。
• 以LQR问题作为基准，研究无模型与基于模型的RL方法的相对性能。
• 证明RL性能的理论表征与LQR中的实验结果一致。
• 将LQR中的洞察推广到更复杂的非线性系统，揭示模型精度与算法通用性之间持续存在的权衡。
• 倡导将控制理论工具整合到RL中，以确保在现实世界应用中实现安全性、可靠性以及形式化认证。

提出的方法

• 将RL建模为具有未知系统动力学的随机最优控制问题，以期望累积奖励作为目标函数。
• 将具有未知动力学的线性二次调节器（LQR）作为典型问题，用于比较无模型与基于模型的RL技术。
• 应用学习理论与控制理论工具，推导LQR的非渐近性能边界，将理论分析与经验行为联系起来。
• 通过LQR案例研究，对比策略梯度方法（无模型）与系统辨识及模型预测控制（基于模型）的有效性。
• 证明即使在动力学未知的情况下，基于模型的方法在LQR中仍能实现更高的样本效率和泛化能力。
• 通过结合两者优势，特别是处理不确定性和确保稳定性，提出无模型与基于模型方法的统一框架。

实验结果

研究问题

• RQ1 在具有未知动力学的典型LQR问题中，无模型与基于模型的RL方法在性能和样本效率方面如何比较？
• RQ2 RL中的理论性能边界，特别是非渐近边界，能否准确预测LQR中的经验行为？
• RQ3 从LQR中获得的见解在多大程度上可推广到连续控制中的更复杂非线性控制问题？
• RQ4 模型在确保基于学习的控制系统的安全性与可靠性方面发挥什么作用？
• RQ5 如何将控制理论与强化学习相结合，以构建适用于现实世界部署的鲁棒、可认证的学习系统？

主要发现

• 基于模型的RL方法在LQR问题上的理论性能边界和实验结果中，均显著优于无模型方法（如策略梯度方法）。
• 对LQR性能的非渐近理论表征与实际观测到的实验行为高度吻合，验证了此类分析的有效性。
• 即使在非线性控制问题中，无模型与基于模型方法之间的性能差距依然存在，表明模型精度对可靠学习至关重要。
• 无模型RL中通用性带来的代价——如缺乏结构假设——导致样本效率低下且在实践中易出现不稳定。
• 将控制理论工具（如系统辨识与鲁棒控制）与RL结合，可实现更好的安全性保障和更可预测的行为。
• LQR案例研究揭示，模型不仅实用，更是实现在控制中实现可靠且高效学习的关键，尤其是在不确定性环境下。