[论文解读] Deep Learning of Koopman Representation for Control

Yiqiang Han, Wenjian Hao+1 more|arXiv (Cornell University)|Oct 15, 2020

Model Reduction and Neural Networks参考文献 25被引用 5

一句话总结

该论文提出了一种数据驱动、无模型的控制框架——深度Koopman表示控制（DKRC），利用深度神经网络（DNN）学习非线性控制系统的最优基函数，通过Koopman算子将系统提升至线性、无限维空间。该方法利用DNN学习的Koopman表示实现高效的模型预测控制（MPC），在OpenAI Gym环境（如摆动摆和Lunar Lander）中，其训练效率和控制性能优于DDPG强化学习方法。

ABSTRACT

We develop a data-driven, model-free approach for the optimal control of the dynamical system. The proposed approach relies on the Deep Neural Network (DNN) based learning of Koopman operator for the purpose of control. In particular, DNN is employed for the data-driven identification of basis function used in the linear lifting of nonlinear control system dynamics. The controller synthesis is purely data-driven and does not rely on a priori domain knowledge. The OpenAI Gym environment, employed for Reinforcement Learning-based control design, is used for data generation and learning of Koopman operator in control setting. The method is applied to two classic dynamical systems on OpenAI Gym environment to demonstrate the capability.

研究动机与目标

• 开发一种数据驱动、无模型的控制框架，避免在非线性系统控制中依赖先验领域知识或手工设计的基函数。
• 将基于深度学习的Koopman算子识别方法从自治系统扩展至具有输入控制的受控动力系统。
• 通过DNN学习适当的高维基函数，在提升空间中实现LQR和MPC等线性控制技术。
• 在OpenAI Gym的基准控制环境中（包括摆动摆和Lunar Lander）验证所提方法的有效性。
• 通过利用数据驱动的Koopman表示，弥合基于模型的控制与无模型强化学习之间的差距。

提出的方法

• 该方法使用深度神经网络（DNN）从OpenAI Gym环境中获取的时间序列数据，学习非线性状态空间的有限维高维提升表示。
• 在提升空间中通过线性模型近似Koopman算子：Ψ(x_{t+1}) = AΨ(x_t) + Bu_t，其中Ψ(x)表示DNN学习的基函数。
• 基函数从数据端到端学习，无需依赖预定义函数（如多项式或径向基函数）。
• 使用带有Ornstein–Uhlenbeck噪声的随机策略生成数据以确保充分探索。
• 在提升空间中应用模型预测控制（MPC），利用识别出的线性动力学进行控制综合。
• 该框架在两个OpenAI Gym环境中进行评估：摆动摆的摆动上翻任务和Lunar Lander控制任务。

实验结果

研究问题

• RQ1 深度神经网络能否有效学习Koopman基表示，从而在无需先验领域知识的情况下实现对非线性动力系统的线性控制？
• RQ2 与最先进的强化学习方法（如DDPG）相比，DNN学习的Koopman表示在训练效率和控制精度方面表现如何？
• RQ3 所提方法在不同初始条件下的泛化能力如何？能否在Lunar Lander等复杂环境中有效处理扰动？
• RQ4 所学习的Koopman表示在多大程度上保持了系统能量动力学，并实现快速收敛至目标状态？
• RQ5 是否可能通过纯粹的数据驱动Koopman学习框架实现基于模型的控制性能？

主要发现

• DKRC框架成功从Lunar Lander环境中五局游戏收集的1876组数据对中学习到Koopman表示，即使无法访问真实系统模型，也能实现有效控制。
• 在摆动摆控制任务中，DKRC控制器迅速将系统能量水平降至最低，在短时间内实现目标状态（θ=0, ˙θ=0），轨迹高效穿越哈密顿能量等高线，表明控制性能优异。
• DKRC模型对随机初始条件表现出鲁棒性，在摆动摆和Lunar Lander环境中，10次独立游戏运行均一致收敛至目标状态。
• 与DDPG强化学习基线相比，DKRC在训练速度和控制性能方面表现更优，尤其在能量最小化和收敛速度方面优势明显。
• 通过哈密顿能量水平着色的3D状态-时间轨迹图显示，DKRC有效降低了系统能量，表明其表现出最优控制行为。
• 该方法成功在提升空间中应用MPC，表明基于Koopman的线性模型可使经典线性控制技术在非线性系统上得以应用。