[论文解读] DeepKoCo: Efficient latent planning with an invariant Koopman representation.

Bas van der Heijden, Laura Ferranti+2 more|arXiv (Cornell University)|Nov 25, 2020

Model Reduction and Neural Networks被引用 5

一句话总结

DeepKoCo 提出了一种基于模型的强化学习智能体，通过使用有损自编码器从图像中学习一种不变的 Koopman 表示，从而实现基于模型预测控制的高效线性规划。该方法在性能上可与无模型方法相媲美，同时对任务无关的动力学具有鲁棒性，因此更适合实际部署。

ABSTRACT

This paper presents DeepKoCo, a novel model-based agent that learns a latent Koopman representation from images. This representation allows DeepKoCo to plan efficiently using linear control methods, such as linear model predictive control. Compared to traditional agents, DeepKoCo is invariant to task-irrelevant dynamics, thanks to the use of a tailored lossy autoencoder network that allows DeepKoCo to learn latent dynamics that reconstruct and predict only observed costs, rather than all observed dynamics. As our results show, DeepKoCo achieves a similar final performance as traditional model-free methods on complex control tasks, while being considerably more robust to distractor dynamics, making the proposed agent more amenable for real-life applications.

研究动机与目标

• 开发一种基于模型的智能体，以实现在视觉控制任务中的高效规划。
• 通过学习仅关注观测成本的潜在表示，降低对任务无关动力学的敏感性。
• 在复杂、高维的视觉环境中，实现线性控制方法（如线性 MPC）的应用。
• 在存在干扰动力学的现实场景中提升鲁棒性。
• 在保持计算效率的同时，实现与无模型方法相当的性能。

提出的方法

• 使用定制的有损自编码器网络，将视觉观测压缩到低维潜在空间。
• 利用 Koopman 算子对潜在动力学进行建模，以实现对未来的状态和成本的线性预测。
• 通过损失函数进行模型训练，优先优化重建效果和可观测成本的预测，而非完整动力学。
• 在潜在空间中应用线性模型预测控制（MPC）以实现高效规划。
• 由于采用以成本为中心的训练目标，Koopman 表示对任务无关动力学具有不变性。
• 智能体在潜在空间中使用线性控制方法进行规划，与非线性规划相比显著降低了计算成本。

实验结果

研究问题

• RQ1 基于 Koopman 的表示是否能在高维视觉控制任务中实现高效规划？
• RQ2 对任务无关动力学的不变性在现实环境中如何提升鲁棒性？
• RQ3 以成本为中心的潜在表示能否实现与无模型智能体相当的性能？
• RQ4 在潜在空间中使用线性控制在样本效率和鲁棒性方面相较于非线性规划有多大的优势？
• RQ5 有损自编码器的设计在学习最小化且与任务相关的动力学表示方面起到了何种作用？

主要发现

• DeepKoCo 在复杂控制任务上的最终性能可与最先进的无模型智能体相媲美。
• 与传统基于模型的智能体相比，该智能体在干扰动力学方面表现出显著提升的鲁棒性。
• 在潜在 Koopman 空间中应用线性模型预测控制，实现了高效且可扩展的规划。
• 有损自编码器通过仅在潜在表示中关注可观测成本，确保了对任务无关动力学的不变性。
• 该方法降低了对虚假环境动力学的敏感性，增强了在现实世界中的适用性。
• Koopman 表示使得在潜在空间中通过线性动力学实现准确的长时域成本预测成为可能。