[论文解读] Linear Representation Meta-Reinforcement Learning for Instant Adaptation

Matt Peng, Banghua Zhu+1 more|arXiv (Cornell University)|Jan 12, 2021

Reinforcement Learning in Robotics参考文献 32被引用 4

一句话总结

FLAP 提出了一种元强化学习方法，通过学习共享的线性策略表示，并利用前馈适配器网络即时预测特定任务的策略权重，从而实现高达 8 倍的加速适应速度，并在分布外任务上的平均回报翻倍，优于 MAML 和 PEARL 等先前方法。

ABSTRACT

This paper introduces Fast Linearized Adaptive Policy (FLAP), a new meta-reinforcement learning (meta-RL) method that is able to extrapolate well to out-of-distribution tasks without the need to reuse data from training, and adapt almost instantaneously with the need of only a few samples during testing. FLAP builds upon the idea of learning a shared linear representation of the policy so that when adapting to a new task, it suffices to predict a set of linear weights. A separate adapter network is trained simultaneously with the policy such that during adaptation, we can directly use the adapter network to predict these linear weights instead of updating a meta-policy via gradient descent, such as in prior meta-RL methods like MAML, to obtain the new policy. The application of the separate feed-forward network not only speeds up the adaptation run-time significantly, but also generalizes extremely well to very different tasks that prior Meta-RL methods fail to generalize to. Experiments on standard continuous-control meta-RL benchmarks show FLAP presenting significantly stronger performance on out-of-distribution tasks with up to double the average return and up to 8X faster adaptation run-time speeds when compared to prior methods.

研究动机与目标

• 解决现有元强化学习方法在适应分布外任务时依赖高计算成本的梯度更新所导致的适应速度慢的问题。
• 通过用直接预测策略权重替代基于梯度的更新，减少机器人等实际应用中的适应时间。
• 通过权重预测而非基于梯度的微调，实现多样化的策略输出，从而提升对未见任务的泛化能力。
• 通过利用预训练的适配器网络从极少的交互数据中预测最优策略权重，实现在适应过程中的高样本效率。

提出的方法

• 在多个训练任务上学习策略网络的共享线性表示，参数化为 π_i = φ · w_i，其中 φ 为共享表示，w_i 为特定任务的权重。
• 以监督方式训练一个独立的前馈适配器网络，基于新任务的单个 SARS 元组预测特定任务的权重 w_i。
• 在适应阶段，固定共享表示 φ，并使用适配器网络直接预测新任务的 w_test，从而跳过梯度更新。
• 使用离策略演员-评论家训练方法，同时优化共享策略表示和适配器网络。
• 通过将迭代梯度更新替换为适配器网络的单次前向传播，实现快速推理。
• 通过在与训练任务显著不同的任务上进行测试，评估泛化性能，同时衡量适应速度和回报表现。

实验结果

研究问题

• RQ1 元强化学习方法是否能在推理阶段不依赖基于梯度的更新，实现快速适应？
• RQ2 通过学习的适配器网络预测特定任务的策略权重，是否相比基于梯度的方法或上下文编码方法，能更好地提升对分布外任务的泛化能力？
• RQ3 将单个 SARS 元组作为适配器网络的输入，对适应性能和稳定性有何影响？
• RQ4 线性策略表示是否能在多样化任务中实现表达能力与收敛稳定性的良好平衡？
• RQ5 适配器网络的泛化能力在多大程度上依赖于共享策略表示的结构？

主要发现

• 由于采用直接预测而非梯度更新，FLAP 的适应运行时间相比先前的元强化学习方法（包括 MAML 和 PEARL）最高可提升 8 倍。
• 在分布外任务上，FLAP 的平均回报最高可达最先进方法的两倍，展现出卓越的泛化能力。
• 适配器网络使得在适应阶段仅需少量环境交互即可实现优异性能，显著降低了样本复杂度。
• 即使新任务与训练任务差异极大，该方法仍能保持良好泛化性能，而基于梯度的方法则在不同任务间产生相似策略。
• 将一系列 SARS 元组作为适配器网络的输入可降低方差，并在稀疏奖励任务上略微提升性能，尽管速度略有下降。
• 适配器网络在训练过程中收敛稳定且迅速，表明其对新任务的权重预测具有可靠性和高效性。