[论文解读] DeepAveragers: Offline Reinforcement Learning by Solving Derived Non-Parametric MDPs

Aayam Shrestha, Stefan Lee+2 more|arXiv (Cornell University)|Oct 18, 2020

Reinforcement Learning in Robotics参考文献 20被引用 5

一句话总结

本文提出 DeepAveragers with Costs MDP（DAC-MDP），一种非参数化的离线强化学习框架，通过值迭代将静态数据集转化为表格型 MDP 以实现最优规划。通过整合深度表征与基于悲观性的成本机制以处理低频状态，该方法在基于图像的环境（如 Atari）中实现了可扩展的、零样本适应的策略，首次成功实现了此类复杂场景下的最优规划应用。

ABSTRACT

We study an approach to offline reinforcement learning (RL) based on optimally solving finitely-represented MDPs derived from a static dataset of experience. This approach can be applied on top of any learned representation and has the potential to easily support multiple solution objectives as well as zero-shot adjustment to changing environments and goals. Our main contribution is to introduce the Deep Averagers with Costs MDP (DAC-MDP) and to investigate its solutions for offline RL. DAC-MDPs are a non-parametric model that can leverage deep representations and account for limited data by introducing costs for exploiting under-represented parts of the model. In theory, we show conditions that allow for lower-bounding the performance of DAC-MDP solutions. We also investigate the empirical behavior in a number of environments, including those with image-based observations. Overall, the experiments demonstrate that the framework can work in practice and scale to large complex offline RL problems.

研究动机与目标

• 弥合离线强化学习中深度表征学习与最优规划之间的鸿沟。
• 通过为低频状态转移引入悲观性，缓解离线强化学习中的模型不准确性问题。
• 基于原理化的表格型规划框架，实现无需微调即可适应新目标与环境变化的零样本适应能力。
• 将最优规划扩展至如 Atari 游戏般大规模、复杂环境，且观测为图像输入。
• 在特定条件下提供性能下界理论保证。

提出的方法

• 基于静态数据集及其学习或随机的潜在表征，在连续潜在空间上构建非参数化 MDP，即 DAC-MDP。
• 从数据集中唯一的状态-动作转移中推导出有限的、表格型 MDP，以捕捉完整 DAC-MDP 的核心。
• 在推导出的表格型 MDP 上应用值迭代，计算核心状态的最优 Q 函数与策略。
• 通过插值将核心 Q 函数扩展至完整的连续潜在空间，从而支持对未见状态的推理。
• 引入悲观成本，对低频转移的利用行为进行惩罚，基于数据密度或不确定性估计。
• 利用 GPU 加速的值迭代实现，实现对数百万状态的扩展，使方法可应用于大规模问题（如 Atari）。

实验结果

研究问题

• RQ1 能否在深度表征与有限数据条件下，有效应用最优规划于离线强化学习？
• RQ2 如何通过为低频状态引入悲观性来提升离线强化学习中的泛化能力与性能？
• RQ3 该框架是否可在无需微调的情况下，实现对新目标与环境变化的零样本适应？
• RQ4 在何种理论条件下，DAC-MDP 的解可保证在真实环境中近乎最优地表现？
• RQ5 该方法能否扩展至如图像等高维观测空间的复杂环境？

主要发现

• DAC-MDP 框架成功将规模扩展至 Atari 级环境，仅使用来自离线无模型强化学习的简单潜在表征，首次在该类场景中实现了有效最优规划。
• 通过复用在潜在空间上预计算的 Q 函数与策略，该方法实现了对新目标与环境变化的零样本适应。
• 理论分析提供了 DAC-MDP 解在真实环境中保证近乎最优表现的条件。
• 实证结果表明，基于悲观性的成本机制显著提升了低数据区域的鲁棒性与性能，优于非悲观基线方法。
• GPU 优化的值迭代实现使包含最多数百万状态的表格型 MDP 能够高效求解，使该方法在大规模问题中具备实用性。
• 在 3D 第一人称导航中的案例研究证实了该框架在处理动态目标与环境变化方面的灵活性。