[论文解读] Data-Efficient Learning of Feedback Policies from Image Pixels using Deep Dynamical Models

John-Alexander M. Assael, Niklas Wahlström+2 more|arXiv (Cornell University)|Oct 8, 2015

Reinforcement Learning in Robotics参考文献 30被引用 24

一句话总结

该论文提出了一种数据高效、基于模型的强化学习算法，通过深度动力学模型（DDM）直接从图像像素中学习闭环控制策略。通过联合学习图像的低维特征嵌入与该潜在空间中的预测模型，该方法实现了准确的长期预测，并实现了高效的非线性模型预测控制，在仅使用不到4,000次采样的情况下成功控制了复杂的双摆系统，且参数量显著少于先前方法。

ABSTRACT

Data-efficient reinforcement learning (RL) in continuous state-action spaces using very high-dimensional observations remains a key challenge in developing fully autonomous systems. We consider a particularly important instance of this challenge, the pixels-to-torques problem, where an RL agent learns a closed-loop control policy ("torques") from pixel information only. We introduce a data-efficient, model-based reinforcement learning algorithm that learns such a closed-loop policy directly from pixel information. The key ingredient is a deep dynamical model for learning a low-dimensional feature embedding of images jointly with a predictive model in this low-dimensional feature space. Joint learning is crucial for long-term predictions, which lie at the core of the adaptive nonlinear model predictive control strategy that we use for closed-loop control. Compared to state-of-the-art RL methods for continuous states and actions, our approach learns quickly, scales to high-dimensional state spaces, is lightweight and an important step toward fully autonomous end-to-end learning from pixels to torques.

研究动机与目标

• 解决仅使用图像观测在高维、连续状态-动作空间中实现数据高效强化学习的挑战。
• 实现从像素到力矩的端到端学习，无需依赖人工设计的特征或示范数据。
• 通过在低维潜在空间中联合学习特征表示与动力学，提升视觉控制中的长期预测准确性。
• 相比SOTA方法（如E2C和PILCO），降低模型复杂度与训练数据需求。
• 通过极少量交互数据，实现对复杂动力系统——平面双摆——的有效控制。

提出的方法

• 训练一个深度动力学模型（DDM），以联合学习图像像素的低维特征嵌入与该潜在空间中系统动力学的预测模型。
• DDM采用自编码器架构，通过瓶颈层（维度=4）将图像输入压缩为紧凑表示，随后接具有ReLU激活的预测模型。
• 提出一种新颖的训练目标，以增强潜在空间中的时间一致性，从而提升基于模型控制的长期预测质量。
• 非线性模型预测控制（NMPC）利用DDM的预测结果实时计算最优力矩，无需值函数近似。
• 在DDM训练前，应用主成分分析（PCA）将输入维度从2304像素降低至512像素，以加速收敛。
• 通过在低维特征空间中操作，避免直接对图像到动力学建模，相比基于图像的替代方法，将参数量减少最多达20倍。

实验结果

研究问题

• RQ1 深度动力学模型能否联合学习图像特征表示与系统动力学，以实现从像素出发的数据高效策略学习？
• RQ2 与使用预训练自编码器相比，联合学习特征与动力学是否能提升长期预测准确性？
• RQ3 基于潜在空间动力学的模型化强化学习方法，能否在极少训练数据下实现对双摆等复杂系统的有效控制？
• RQ4 当仅使用像素输入时，与SOTA方法（如E2C和PILCO）相比，所提方法在数据效率与参数量方面表现如何？
• RQ5 潜在空间中的时间一致性在多大程度上提升了模型预测控制的预测性能？

主要发现

• 所提出的基于DDM的方法在少于4,000次训练样本内成功将平面双摆控制至目标角度偏差在10°以内。
• 仅经过三次受控试验，系统在几乎所有情况下均实现了对两个摆的稳定控制，展现出快速学习能力。
• 由于在潜在空间中建模动力学而非图像空间，该方法所需模型参数量约为E2C的4至20倍，具体取决于预处理方式。
• 当使用仅基于重构误差训练的标准自编码器提取的特征时，PILCO无法学习到有意义的策略，原因在于特征流形不光滑。
• 特征编码器与预测模型的联合训练产生了更平滑的潜在动力学，从而实现了准确的长期预测，这对有效NMPC至关重要。
• 该算法通过聚焦于目标状态附近的潜在空间进行学习，显著减少了与真实系统交互的次数，实现了高数据效率。