[论文解读] Data-efficient visuomotor policy training using reinforcement learning and generative models

Ali Ghadirzadeh, Petra Poklukar+3 more|arXiv (Cornell University)|Jul 26, 2020

Reinforcement Learning in Robotics参考文献 76被引用 5

一句话总结

本文提出了一种数据高效的强化学习框架，通过将潜在变量生成模型与策略优化相结合，用于训练深度视觉-运动策略。该方法将任务分解为三个阶段：在动作潜在变量上训练子策略、无监督训练动作序列的生成模型，以及端到端的监督策略训练——在实现至少一个数量级的数据效率提升的同时，通过新型潜在空间度量实现了安全探索和策略性能的预测性评估。

ABSTRACT

We present a data-efficient framework for solving visuomotor sequential decision-making problems which exploits the combination of reinforcement learning (RL) and latent variable generative models. Our framework trains deep visuomotor policies by introducing an action latent variable such that the feed-forward policy search can be divided into three parts: (i) training a sub-policy that outputs a distribution over the action latent variable given a state of the system, (ii) unsupervised training of a generative model that outputs a sequence of motor actions conditioned on the latent action variable, and (iii) supervised training of the deep visuomotor policy in an end-to-end fashion. Our approach enables safe exploration and alleviates the data-inefficiency problem as it exploits prior knowledge about valid sequences of motor actions. Moreover, we provide a set of measures for evaluation of generative models such that we are able to predict the performance of the RL policy training prior to the actual training on a physical robot. We define two novel measures of disentanglement and local linearity for assessing the quality of latent representations, and complement them with existing measures for assessment of the learned distribution. We experimentally determine the characteristics of different generative models that have the most influence on performance of the final policy training on a robotic picking task.

研究动机与目标

• 为解决深度视觉-运动策略在强化学习中因稀疏终端奖励而导致的数据效率低下问题。
• 通过生成建模引入关于有效动作序列的先验知识，以缩小探索搜索空间。
• 构建一种框架，通过仅从学习到的有效动作分布中采样，实现安全探索。
• 开发用于评估生成模型质量的预测性度量指标，使其与下游强化学习策略性能相关联。
• 识别在视觉-运动策略训练中对数据效率影响最大的生成模型关键特性。

提出的方法

• 引入潜在动作变量 α，将策略学习分解为三个阶段：在 α 上训练子策略、无监督训练生成模型 p_ϑ(τ|α)，以及端到端监督训练完整策略 π_Θ(τ|s)。
• 使用期望最大化（EM）算法联合优化子策略 π_θ(α|s) 和生成模型 p_ϑ(τ|α)，将潜在变量 α 视为 EM 框架中的隐变量。
• 采用信任区域策略优化（TRPO）算法进行子策略训练，将问题建模为上下文多臂赌博机，以避免时间信用分配问题。
• 使用针对模型类型的无监督目标训练生成模型——β-VAEs 和 InfoGANs，重点捕捉有效运动轨迹的分布。
• 提出两种新型评估指标：解耦精确率（DiP）和解耦召回率（DiR），用于评估潜在空间中的解耦程度；以及潜在局部线性度（L3），用于衡量生成过程的平滑性。
• 使用精确率和召回率（来自 [5]）评估样本质量，并将所有指标结合，以在真实世界训练前预测强化学习策略性能。

实验结果

研究问题

• RQ1 如何将生成模型与强化学习结合，以提升视觉-运动策略学习中的数据效率？
• RQ2 生成模型潜在空间表征的哪些特性最能预测下游强化学习策略训练的成功？
• RQ3 在仅基于生成模型评估指标的前提下，多大程度上可以预测深度视觉-运动策略在实际训练前的性能？
• RQ4 生成模型潜在空间中的解耦性和局部线性度是否与策略训练中的样本效率提升相关？
• RQ5 在强化学习策略优化的背景下，不同生成模型架构（VAEs 与 GANs）如何从特定的潜在空间特性中获益？

主要发现

• 无论模型类型如何，生成模型的召回率是影响策略训练成功与否的最关键因素，表明重现多样化训练轨迹的能力至关重要。
• 对于 VAEs，生成样本的高精确率也至关重要，表明对训练数据的保真度能提升性能。
• 对于 GANs，解耦召回率（DiR）是策略成功的重要贡献因素，表明生成多样化、解耦动作序列的能力可提升数据效率。
• 解耦精确率（DiP）和潜在局部线性度（L3）成为重要指标，尤其在需要结构化潜在表征的复杂任务中。
• ARD 回归与皮尔逊相关性分析表明，召回率、DiP 和 DiR 是策略性能的强预测因子，且召回率在各类模型中始终排名第一。
• 所提出的评估框架可在真实世界训练前预测强化学习策略的成功，从而实现基于潜在空间质量的生成模型智能选择。