[论文解读] Efficient transfer learning and online adaptation with latent variable models for continuous control

Christian F. Perez, Felipe Petroski Such+1 more|arXiv (Cornell University)|Dec 8, 2018

Robot Manipulation and Learning参考文献 9被引用 7

一句话总结

该论文提出了一种基于变分推断的潜在变量模型，用于基于模型的强化学习，可在连续控制任务中实现高效的迁移学习和在线自适应。通过利用辅助潜在变量学习跨环境共享的动力学，并通过在线贝叶斯推断更新这些变量，该方法实现了快速、样本高效的训练，并在新型或动态变化的环境中（如物理参数变化的HalfCheetah）展现出鲁棒的泛化能力。

ABSTRACT

Traditional model-based RL relies on hand-specified or learned models of transition dynamics of the environment. These methods are sample efficient and facilitate learning in the real world but fail to generalize to subtle variations in the underlying dynamics, e.g., due to differences in mass, friction, or actuators across robotic agents or across time. We propose using variational inference to learn an explicit latent representation of unknown environment properties that accelerates learning and facilitates generalization on novel environments at test time. We use Online Bayesian Inference of these learned latents to rapidly adapt online to changes in environments without retaining large replay buffers of recent data. Combined with a neural network ensemble that models dynamics and captures uncertainty over dynamics, our approach demonstrates positive transfer during training and online adaptation on the continuous control task HalfCheetah.

研究动机与目标

• 解决在环境动力学因未知物理参数（如质量或摩擦力）变化时，基于模型的强化学习中泛化能力差的问题。
• 通过学习环境特异性属性的共享潜在表征，实现在具有共享动力学的多个环境中快速、数据高效的训练。
• 通过在线贝叶斯推断，在推理过程中实现实时动态适应，而无需存储大型经验回放缓冲区。
• 通过潜在变量推理，利用相关训练环境的迁移知识，提升在新环境中的泛化能力和性能。

提出的方法

• 使用分层概率模型，其中共享神经网络集合用于建模动力学，辅助潜在变量 $\mathbf{e}_k$ 表示环境特异性物理参数。
• 应用变分推断，联合学习动力学模型并推断训练期间未知环境属性的潜在表征 $\mathbf{e}_k$。
• 采用在线贝叶斯推断，随着新转移数据的到达，顺序更新 $\mathbf{e}_k$ 的后验分布，避免存储大型回放缓冲区。
• 使用深度神经网络集合建模动力学中的不确定性，相比单模型，提高了鲁棒性并减少了过拟合。
• 通过使用环境特异的最小和最大平均奖励对奖励进行重标定，实现在不同环境间公平比较。
• 使用随机变分推断近似难以计算的 $\mathbf{e}_k$ 后验分布，实现高效且可扩展的推断。

实验结果

研究问题

• RQ1 具有辅助潜在变量的共享动力学模型是否能在物理参数变化的连续控制环境中实现更快、更具泛化能力的学习？
• RQ2 对学习到的潜在变量进行在线贝叶斯推断，是否能实现实时动态适应，且无需大内存开销？
• RQ3 在潜在变量学习中使用变分推断是否能带来训练期间的正向迁移，并提升在新测试环境中的性能？
• RQ4 在数据效率和泛化能力方面，该方法与专用代理和通用代理相比表现如何？
• RQ5 推断出的潜在变量在多大程度上能捕捉环境的真实底层物理参数（如重力角 $\theta_g$）？

主要发现

• 所提方法在学习速度上优于专用代理和通用代理基线，表明在物理参数变化的环境中实现了正向迁移。
• 在动态变化环境中（$\theta_g$ 在500个时间步后从 $-6^\circ$ 变化到 $6^\circ$），该方法仅用5个episode的在线学习，就优于通用代理基线，展现出优异的实时适应能力。
• 该模型能有效泛化到新型测试环境，推断出的潜在变量能准确捕捉 $\theta_g$ 值的相对顺序，甚至能外推至训练分布之外。
• 潜在变量表征在环境动力学中捕捉到了有意义的结构，表现为学习到的2D潜在空间与训练和测试环境中真实的 $\theta_g$ 值高度对齐。
• 该方法在所有环境中均保持强劲性能，未因性能折损而影响最终表现，即使在高数据量情况下通用代理基线略胜一筹。
• 在线贝叶斯推断的使用实现了无需存储大型经验缓冲区的实时适应，降低了内存约束，同时保持了鲁棒性。