[论文解读] A Survey of Zero-shot Generalisation in Deep Reinforcement Learning

Robert Kirk, Amy Zhang+2 more|arXiv (Cornell University)|Nov 18, 2021

Reinforcement Learning in Robotics被引用 13

一句话总结

本综述为深度强化学习中的零样本泛化（ZSG）提供了一个统一的形式化框架，按上下文类型、分布偏移和泛化模式对ZSG问题进行分类。综述了基准测试、方法，并指出了如离线RL ZSG和奖励函数变化等尚未充分探索的领域，倡导采用快速在线适应和结构化MDP以提升真实场景部署中的鲁棒性。

ABSTRACT

The study of zero-shot generalisation (ZSG) in deep Reinforcement Learning (RL) aims to produce RL algorithms whose policies generalise well to novel unseen situations at deployment time, avoiding overfitting to their training environments. Tackling this is vital if we are to deploy reinforcement learning algorithms in real world scenarios, where the environment will be diverse, dynamic and unpredictable. This survey is an overview of this nascent field. We rely on a unifying formalism and terminology for discussing different ZSG problems, building upon previous works. We go on to categorise existing benchmarks for ZSG, as well as current methods for tackling these problems. Finally, we provide a critical discussion of the current state of the field, including recommendations for future work. Among other conclusions, we argue that taking a purely procedural content generation approach to benchmark design is not conducive to progress in ZSG, we suggest fast online adaptation and tackling RL-specific problems as some areas for future work on methods for ZSG, and we recommend building benchmarks in underexplored problem settings such as offline RL ZSG and reward-function variation.

研究动机与目标

• 建立深度强化学习中零样本泛化（ZSG）的统一形式化框架，区分分布内与分布外泛化。
• 对现有的ZSG基准测试进行分类，突出当前程序化内容生成方法的局限性。
• 分析当前的ZSG方法，识别其在处理组合性、插值和外推泛化方面的优缺点。
• 识别尚未充分探索但对未来发展至关重要的问题设置，如离线RL ZSG和奖励函数变化。
• 推荐方法论方向，包括快速在线适应和结构化MDP，以提升强化学习智能体在真实世界中的鲁棒性。

提出的方法

• 基于上下文MDP（CMDP）提出一个形式化框架，统一ZSG问题，区分可观测与不可观测上下文，以及不同类型分布偏移。
• 将ZSG分解为子类型：组合性与非组合性、插值与外推、单因素与多因素泛化。
• 沿环境分布偏移（IID与OOD）、上下文可观测性及任务多样性维度对基准测试进行分类。
• 综述了因子MDP、关系MDP和Block MDP等方法，这些方法通过利用结构假设，借助系统性实现更好的泛化。
• 强调使用结构化MDP——尤其是因子MDP和Block MDP——以降低状态空间复杂度，并实现样本高效学习。
• 建议设计在奖励函数变化和离线RL设置下具有多样性的基准测试，以更真实地反映现实世界部署约束。

实验结果

研究问题

• RQ1 如何在多样化的问题设置中，对深度强化学习中的零样本泛化进行形式化且一致的定义？
• RQ2 不同类型的ZSG之间，如插值与外推、单因素与多因素泛化，其关键区别是什么？
• RQ3 为何当前的基准测试——尤其是依赖程序化内容生成的基准——不足以推动ZSG的进展？
• RQ4 哪些方法论路径，如结构化MDP或快速在线适应，可提升智能体在未见环境中的ZSG性能？
• RQ5 哪些问题设置，如离线RL或奖励函数变化，仍处于未充分探索状态，但对真实世界RL部署至关重要？

主要发现

• 基于上下文MDP的统一形式化框架，使ZSG问题的比较与分类更加清晰，能够有效区分分布内与分布外泛化。
• 当前基准测试通常依赖程序化内容生成，可能无法充分反映真实世界中的分布偏移，且易导致评估过拟合。
• 因子MDP和Block MDP通过提供结构化的归纳偏置，支持对未见因素组合的系统性泛化，提升样本效率。
• 关系MDP与面向对象的MDP为复杂、基于对象的环境提供了形式化表达，但通常对大规模深度强化学习学习过于受限。
• 该领域缺乏针对离线RL ZSG和奖励函数变化的稳健基准测试，而这两者对真实世界部署至关重要，因为环境动态和奖励可能发生变化。
• 未来工作应优先考虑快速在线适应和强化学习专用方法，而非违反零样本约束的领域自适应或元强化学习方法。