[论文解读] FOCAL: Efficient Fully-Offline Meta-Reinforcement Learning via Distance Metric Learning and Behavior Regularization

Lanqing Li, Rui Yang+1 more|arXiv (Cornell University)|Oct 2, 2020

Reinforcement Learning in Robotics被引用 9

一句话总结

FOCAL 提出了一种首个端到端、无需模型、完全离线的元强化学习算法，通过结合确定性上下文编码与一种新颖的反幂距离度量损失函数及行为正则化，实现了从静态离线数据中高效、稳健的任务推理与快速适应。该方法在连续控制元强化学习基准测试中实现了最先进性能，且无需在线交互或事先知晓任务身份信息。

ABSTRACT

We study the offline meta-reinforcement learning (OMRL) problem, a paradigm which enables reinforcement learning (RL) algorithms to quickly adapt to unseen tasks without any interactions with the environments, making RL truly practical in many real-world applications. This problem is still not fully understood, for which two major challenges need to be addressed. First, offline RL usually suffers from bootstrapping errors of out-of-distribution state-actions which leads to divergence of value functions. Second, meta-RL requires efficient and robust task inference learned jointly with control policy. In this work, we enforce behavior regularization on learned policy as a general approach to offline RL, combined with a deterministic context encoder for efficient task inference. We propose a novel negative-power distance metric on bounded context embedding space, whose gradients propagation is detached from the Bellman backup. We provide analysis and insight showing that some simple design choices can yield substantial improvements over recent approaches involving meta-RL and distance metric learning. To the best of our knowledge, our method is the first model-free and end-to-end OMRL algorithm, which is computationally efficient and demonstrated to outperform prior algorithms on several meta-RL benchmarks.

研究动机与目标

• 开发一种完全离线的元强化学习算法，实现在无需环境交互的情况下对未见过的任务实现快速适应。
• 通过在学习策略上施加行为正则化，缓解离线强化学习中的自举误差问题。
• 通过使用具有新颖距离度量损失的确定性上下文编码器，实现高效且稳健的任务推理。
• 将上下文编码器的训练与 Bellman 更新解耦，以提升稳定性和表征质量。
• 仅使用静态记录数据，在连续控制元强化学习基准测试中实现最先进性能。

提出的方法

• 提出一种确定性上下文编码器，从离线轨迹中嵌入任务特定信息，实现在无需探索的情况下快速适应。
• 在有界上下文嵌入上引入负幂距离度量损失（反幂），受库仑势能启发，以增强不同任务表征之间的分离性。
• 通过梯度解耦，将上下文编码器的训练与 Bellman 更新分离，提升稳定性并防止任务嵌入的坍塌。
• 采用行为正则化（如价值惩罚和策略正则化）以缓解离线强化学习中状态-动作分布外的自举误差。
• 在任务转移对应关系假设下，将元强化学习重新表述为任务增强的马尔可夫决策过程，以统一上下文学习与控制策略优化。
• 采用标准的演员-评论家框架与离策略更新，端到端地联合优化策略与上下文表征。

实验结果

研究问题

• RQ1 完全离线的元强化学习算法是否能在不进行任何在线环境交互的情况下，实现对未见任务的快速且稳健的适应？
• RQ2 在必须施加行为正则化以防止发散的前提下，如何在离线元强化学习中实现有效的任务表征学习？
• RQ3 在距离度量学习与上下文编码中，哪些设计选择能带来离线元强化学习中更优的性能与稳定性？
• RQ4 将上下文编码器训练与 Bellman 更新解耦，是否能提升任务嵌入质量与整体策略性能？
• RQ5 距离度量选择（如反幂 vs. 线性/平方）如何影响任务嵌入的聚类效果与下游强化学习性能？

主要发现

• FOCAL 在多个连续控制元强化学习基准测试中优于先前的离线元强化学习方法，包括 Walker-2D-Params 和 Ant-2D-Params。
• 反幂距离度量损失在 Walker-2D-Params 上实现了 0.840 的最高有效分离率（ESR），显著优于线性（0.819）、平方（0.506）和反平方（0.861）变体。
• 确定性上下文编码器的性能优于其概率性对应方法，t-SNE 可视化显示任务嵌入具有更好的聚类效果。
• 将上下文编码器与 Bellman 梯度解耦可防止嵌入坍塌，实现稳定训练，t-SNE 与返回值曲线对比验证了这一点。
• 该方法仅使用静态记录数据，无需在线交互或任务身份信息，即实现了优越的样本效率与快速适应。
• 实证分析证实，行为正则化在复杂离线元强化学习设置中对收敛至关重要，其与训练策略的交互显著影响性能。