[论文解读] From Pixels to Torques: Policy Learning with Deep Dynamical Models

Niklas Wahlström, Thomas B. Schön+1 more|arXiv (Cornell University)|Feb 8, 2015

Reinforcement Learning in Robotics参考文献 33被引用 79

一句话总结

本文提出了一种数据高效、基于模型的强化学习算法，通过深度动力学模型（DDM）直接从像素观测中学习闭环控制策略。DDM 联合学习通过深度自编码器获得的低维图像嵌入以及潜在空间中的预测转移模型，从而实现准确的长期轨迹预测。这些预测由自适应模型预测控制（MPC）策略用于实时生成最优力矩，仅在15次尝试内即达到近似最优性能，显著推进了从像素到力矩的端到端自主学习。

ABSTRACT

Data-efficient learning in continuous state-action spaces using very high-dimensional observations remains a key challenge in developing fully autonomous systems. In this paper, we consider one instance of this challenge, the pixels to torques problem, where an agent must learn a closed-loop control policy from pixel information only. We introduce a data-efficient, model-based reinforcement learning algorithm that learns such a closed-loop policy directly from pixel information. The key ingredient is a deep dynamical model that uses deep auto-encoders to learn a low-dimensional embedding of images jointly with a predictive model in this low-dimensional feature space. Joint learning ensures that not only static but also dynamic properties of the data are accounted for. This is crucial for long-term predictions, which lie at the core of the adaptive model predictive control strategy that we use for closed-loop control. Compared to state-of-the-art reinforcement learning methods for continuous states and actions, our approach learns quickly, scales to high-dimensional state spaces and is an important step toward fully autonomous learning from pixels to torques.

研究动机与目标

• 解决在仅提供高维像素观测时，连续状态-动作空间中策略学习数据效率低下的挑战。
• 在无需依赖人工设计或低维状态表示的情况下，自主闭合感知-动作-学习回路。
• 开发一种可扩展的基于模型的强化学习框架，从原始图像中学习，并通过长时域预测实现实时、自适应控制。
• 在真实世界机器人控制任务中实现高样本效率，最大限度减少昂贵的尝试次数。

提出的方法

• 端到端训练深度动力学模型（DDM），联合学习通过深度自编码器获得的图像低维特征表示以及潜在空间中的预测转移模型。
• 编码器将高维像素输入映射到紧凑的潜在表示（z_t），而解码器则重建输入图像，以最小化重构误差。
• 潜在空间中的预测模型使用多层前馈神经网络预测未来状态，通过最小化长时域预测误差进行训练。
• 自适应模型预测控制（MPC）策略利用 DDM 的预测结果在线计算最优控制动作（力矩），无需价值函数估计。
• DDM 使用联合目标进行训练，平衡重构误差与预测误差，确保潜在空间同时捕捉动态与静态数据特性。
• 系统以闭环方式运行：每次尝试后，使用所有收集的数据（包括参考图像）重新训练 DDM，以提升未来预测与控制性能。

实验结果

研究问题

• RQ1 在低维潜在空间中联合学习表征与动力学的框架，是否能实现从原始像素输入的数据高效策略学习？
• RQ2 具备联合特征与预测学习能力的深度动力学模型，在高维观测空间中对长时域预测的泛化能力如何？
• RQ3 基于此类 DDM 的 MPC 是否在样本效率与控制性能上优于基于值函数或分离学习特征与动力学的方法？
• RQ4 该方法是否能在极少交互尝试下实现连续机器人控制任务中的近似最优控制性能，即使无法获取真实状态信息？
• RQ5 联合训练自编码器与预测模型与分别训练相比，对长期预测精度与控制成功率有何影响？

主要发现

• 所提出的 DDM+MPC 方法在15次尝试（1,500帧图像）后成功率接近90%，在摆杆控制任务中展现出强大的数据效率。
• 当使用2D自编码器特征时，该方法优于 PILCO，而 PILCO 因动态建模不佳而失败，凸显了表征与动力学联合学习的重要性。
• PILCO 在使用20D PCA特征和2D自编码器特征时均持续失败，而 DDM+MPC 方法成功，表明表征与动力学的联合优化对长期预测至关重要。
• DDM 在潜在空间中学习到了环形结构，从而能够以简单而准确的方式建模动态行为，这种结构在分别训练自编码器与预测器时无法出现。
• 该方法在高维观测中表现出良好的可扩展性，并在策略执行期间实现了极低计算开销的实时在线控制。
• 尽管仅依赖像素输入且无状态信息，该方法仍实现了与使用真实2D状态（ϕ, ˙ϕ）的 PILCO 基线相当的近似最优性能。