[论文解读] Dynamics-Aware Embeddings

WILLIAM F. WHITNEY, Rajat Agarwal+2 more|arXiv (Cornell University)|Apr 30, 2020

Reinforcement Learning in Robotics参考文献 44被引用 10

一句话总结

本文提出了一种动态感知嵌入方法，通过联合表示状态和动作来提升强化学习中的样本效率。通过从嵌入的状态和动作预测未来状态，该方法实现了高效的策略学习——仅需100万至200万步即可从像素输入实现高性能控制，且仅使用动作嵌入便显著提升了低维控制任务的性能。

ABSTRACT

In this paper we consider self-supervised representation learning to improve sample efficiency in reinforcement learning (RL). We propose a forward prediction objective for simultaneously learning embeddings of states and actions. These embeddings capture the structure of the environment's dynamics, enabling efficient policy learning. We demonstrate that our action embeddings alone improve the sample efficiency and peak performance of model-free RL on control from low-dimensional states. By combining state and action embeddings, we achieve efficient learning of high-quality policies on goal-conditioned continuous control from pixel observations in only 1-2 million environment steps.

研究动机与目标

• 通过自监督表征学习提升强化学习中的样本效率。
• 学习状态和动作的联合嵌入，以捕捉环境的潜在动态。
• 在低维控制和高维像素化连续控制任务中实现高效的策略学习。
• 证明仅使用动作嵌入即可提升无模型强化学习的性能。

提出的方法

• 提出一种前向预测目标，用于从嵌入的状态和动作预测未来状态。
• 训练神经网络将状态和动作映射到共享嵌入，以保留动态结构。
• 将预测损失用作自监督信号，预训练表征而无需环境奖励信号。
• 联合优化状态和动作嵌入，以提升泛化能力和下游策略学习性能。
• 在下游强化学习智能体中直接应用学习到的嵌入，无需微调。

实验结果

研究问题

• RQ1 联合状态-动作嵌入是否能提升无模型强化学习中的样本效率？
• RQ2 在低维控制任务中，仅使用动作嵌入在提升性能方面有多有效？
• RQ3 动态感知嵌入是否能实现从像素观测中高效学习策略，特别是在目标条件控制任务中？
• RQ4 联合状态-动作表征对下游强化学习性能的贡献是什么？

主要发现

• 仅使用动作嵌入便能显著提升无模型强化学习在低维控制任务中的样本效率和峰值性能。
• 该方法在像素化连续控制任务中仅用100万至200万次环境交互步便实现了高质量的策略学习。
• 状态和动作的联合嵌入能够实现有效的表征学习，准确捕捉环境动态。
• 自监督的前向预测目标成功学习到了有用的动态感知表征，且无需奖励信号。