[论文解读] Decoupling feature extraction from policy learning: assessing benefits of state representation learning in goal based robotics

Antonin Raffin, Ashley Hill+4 more|arXiv (Cornell University)|Jan 24, 2019

Reinforcement Learning in Robotics参考文献 21被引用 24

一句话总结

本文提出在基于目标的机器人学中将状态表征学习（SRL）与策略学习解耦，证明通过堆叠SRL组件学习紧凑且解耦的状态表征，可显著提升样本效率与策略性能。该方法优于端到端学习与原始像素输入，在更快收敛的同时对超参数具有更强鲁棒性，实现接近最优的性能。

ABSTRACT

Scaling end-to-end reinforcement learning to control real robots from vision presents a series of challenges, in particular in terms of sample efficiency. Against end-to-end learning, state representation learning can help learn a compact, efficient and relevant representation of states that speeds up policy learning, reducing the number of samples needed, and that is easier to interpret. We evaluate several state representation learning methods on goal based robotics tasks and propose a new unsupervised model that stacks representations and combines strengths of several of these approaches. This method encodes all the relevant features, performs on par or better than end-to-end learning with better sample efficiency, and is robust to hyper-parameters change.

研究动机与目标

• 评估在视觉引导的机器人控制中，将特征提取与策略学习解耦所带来的优势。
• 评估不同状态表征学习（SRL）方法对基于目标任务中样本效率与策略性能的影响。
• 设计一种新型SRL方法，通过堆叠表征组合多种目标，以提升解耦性与鲁棒性。
• 研究超参数、状态维度与训练集大小对SRL性能的影响。
• 验证基于SRL的策略从仿真环境到真实机器人部署的可迁移性。

提出的方法

• 作者提出一种新颖的SRL方法，通过堆叠多个表征头（每个表征头使用不同目标进行训练）而非混合它们，以减少目标之间的冲突，提升表征解耦性。
• 该方法结合三种目标：逆动力学（从状态转移中预测动作）、重构（对观测进行自编码器损失）与奖励预测（预测稀疏奖励）。
• 每种目标应用于状态表征的独立、专用部分，实现模块化学习与更优的特征分离。
• SRL模型在探索策略的演示轨迹上进行预训练，随后作为PPO策略网络的输入。
• 最终状态表征被用作策略网络的输入，该网络在仿真与真实世界环境中均通过近端策略优化（PPO）进行训练。
• 该方法在多个基于目标的机器人任务中进行了评估，包括导航与机械臂操作，并开展了关于超参数与架构选择的消融研究。

实验结果

研究问题

• RQ1 在视觉引导的基于目标机器人学中，将状态表征学习与策略学习解耦是否能提升样本效率？
• RQ2 当组合使用时，不同的SRL目标（逆动力学、重构、奖励预测）如何共同影响策略性能？
• RQ3 堆叠表征与混合表征相比，对表征解耦性与下游策略学习有何影响？
• RQ4 所提出的SRL方法对超参数、状态维度与训练集大小的变化有多大的鲁棒性？
• RQ5 基于SRL训练的策略能否有效从仿真环境迁移到真实世界机器人部署？

主要发现

• SRL Splits模型通过为逆动力学、重构与奖励预测分别堆叠独立表征头，在2D导航随机目标环境中实现了223.4 ± 5.6的平均回报，优于原始像素（188.2 ± 9.5）与端到端学习基线。
• 堆叠SRL方法优于所有其他SRL组合方式，包括自编码器+奖励/逆动力学组合（232.1 ± 2.2），表明其性能优异且高度稳定。
• 该方法展现出卓越的样本效率：使用SRL表征训练的策略收敛速度远快于使用原始像素的策略，即使端到端学习需要显著更多的样本。
• SRL Splits模型对超参数变化具有鲁棒性，在不同随机种子、状态维度与训练集大小（超过最小阈值）下均表现出一致性能。
• 使用高质量SRL表征（如SRL Splits、自编码器、真实标签）预训练的策略在真实世界部署中泛化能力更强，在Omnibot机器人上表现出稳定行为，而基于原始像素或随机特征的策略则表现不佳。
• 消融研究证实，当状态维度或训练集大小超过某一临界点后，性能不再提升，表明存在性能饱和效应。