[论文解读] A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization

Pamul Yadav, Ashutosh Mishra+2 more|arXiv (Cornell University)|Feb 17, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

本综述整合了深度强化学习（DRL）在适应性和泛化方面的最新进展，按任务适应和领域适应对方法进行分类。它分析了提升DRL智能体在不同环境中鲁棒性的技术，并提出了未来研究方向，以通过改进泛化能力和适应性来提升其在现实世界中的适用性。

ABSTRACT

Deep Reinforcement Learning (DRL) aims to create intelligent agents that can learn to solve complex problems efficiently in a real-world environment. Typically, two learning goals: adaptation and generalization are used for baselining DRL algorithm's performance on different tasks and domains. This paper presents a survey on the recent developments in DRL-based approaches for adaptation and generalization. We begin by formulating these goals in the context of task and domain. Then we review the recent works under those approaches and discuss future research directions through which DRL algorithms' adaptability and generalizability can be enhanced and potentially make them applicable to a broad range of real-world problems.

研究动机与目标

• 系统性回顾近期提升智能体在多样化任务和领域中适应性与泛化能力的DRL方法。
• 识别使DRL智能体能够超越训练分布泛化并适应新环境的关键技术策略。
• 分析当前DRL方法在适应性和泛化方面存在的权衡与局限性。
• 概述开放性挑战与未来研究方向，以提升DRL智能体的鲁棒性与可迁移性。
• 提供该领域的结构化概览，以指导研究人员开发更具泛化能力和适应性的DRL系统。

提出的方法

• 根据适应性（任务级）和泛化性（领域级）目标对DRL方法进行分类。
• 回顾元强化学习、领域随机化以及内在好奇心等技术，以提升泛化能力。
• 分析分层策略和解耦表征等架构创新，以增强适应能力。
• 研究课程学习和多任务训练策略，以促进在多种环境中的鲁棒泛化。
• 评估奖励塑形、表征学习和数据增强在提升适应性能方面的作用。
• 整合机器人学、游戏博弈和连续控制等多个领域的研究发现，识别共性模式与研究空白。

实验结果

研究问题

• RQ1 DRL中用于提升不同领域间泛化能力的主要技术方法有哪些？
• RQ2 以适应为重点的方法如何使DRL智能体在极少微调的情况下快速适应新任务？
• RQ3 当前DRL方法在面对分布偏移时，实现鲁棒泛化的关键局限性是什么？
• RQ4 架构设计与训练策略的选择如何影响DRL智能体的适应性与泛化能力？
• RQ5 哪些未来研究方向可显著提升DRL系统在现实世界中的部署潜力？

主要发现

• 元强化学习和领域随机化是提升智能体在未见环境中泛化能力的最有效策略之一。
• 分层结构与解耦表征显著增强了智能体通过学习可迁移技能来适应新任务的能力。
• 课程学习与多任务训练通过逐步增加任务复杂度，提升了样本效率与泛化能力。
• 内在好奇心与好奇心驱动的探索有助于智能体在稀疏奖励环境中发现并泛化多样行为。
• 尽管已取得进展，当前方法在应对分布偏移方面仍存在困难，且需大量超参数调优才能实现鲁棒性能。
• 本综述指出，亟需建立标准化的基准测试与评估协议，以实现不同方法在泛化与适应性能上的可比性。