[论文解读] AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning

Biwei Huang, Fan Feng+3 more|arXiv (Cornell University)|Jul 6, 2021

Reinforcement Learning in Robotics参考文献 48被引用 6

一句话总结

AdaRL 通过在动态贝叶斯网络中使用简洁的图结构表示，对跨领域之间的结构变化进行建模，提出了一套原则性的高效且可解释的迁移强化学习框架。它仅需少量目标领域样本即可实现快速策略适应，通过识别转移、观测和奖励函数中的最小、组件化变化，避免了昂贵的策略优化，在 CartPole 和 Atari 游戏中取得了优异性能。

ABSTRACT

One practical challenge in reinforcement learning (RL) is how to make quick adaptations when faced with new environments. In this paper, we propose a principled framework for adaptive RL, called extit{AdaRL}, that adapts reliably and efficiently to changes across domains with a few samples from the target domain, even in partially observable environments. Specifically, we leverage a parsimonious graphical representation that characterizes structural relationships over variables in the RL system. Such graphical representations provide a compact way to encode what and where the changes across domains are, and furthermore inform us with a minimal set of changes that one has to consider for the purpose of policy adaptation. We show that by explicitly leveraging this compact representation to encode changes, we can efficiently adapt the policy to the target domain, in which only a few samples are needed and further policy optimization is avoided. We illustrate the efficacy of AdaRL through a series of experiments that vary factors in the observation, transition, and reward functions for Cartpole and Atari games.

研究动机与目标

• 在环境变化时，实现可靠、低成本且可解释的策略迁移强化学习。
• 识别跨领域变化的 *什么*、*何处* 和 *如何*，以指导高效适应。
• 通过结构化变化建模，减少在目标领域中对大量探索和策略优化的依赖。
• 支持在 MDP 和 POMDP 中的适应，包括部分可观察环境。
• 提供转移、观测和奖励函数变化的因子化、可解释表示。

提出的方法

• AdaRL 使用动态贝叶斯网络（DBN）对潜在状态、观测、动作、奖励以及领域特定的变化因子之间的关系进行建模。
• 引入结构掩码（C_so, C_sr 等）以识别系统中哪些组件会发生变化，从而实现组件化适应。
• 该框架采用编码器-解码器架构，结合 LSTM，从混合密度网络中推断潜在状态，并重建观测和奖励。
• 对结构掩码和变化因子施加稀疏性正则化，以促进最小且可解释的变化集合。
• 通过重构损失、预测损失和 KL 散度损失进行模型训练，并额外引入正则化以鼓励稀疏适应。
• 通过仅使用少量目标领域轨迹对源策略进行微调，实现策略适应，其过程由学习到的变化结构引导。

实验结果

研究问题

• RQ1 在转移、观测和奖励函数中，哪些结构性变化最有利于高效策略迁移？
• RQ2 当在不同领域间迁移策略时，如何识别出最小子组件集合以进行适应？
• RQ3 一个紧凑且可解释的领域变化图模型，是否能实现仅用极少目标数据的快速适应？
• RQ4 在部分可观察环境中，AdaRL 与现有迁移强化学习方法相比，在数据效率和性能方面表现如何？
• RQ5 该模型在 CartPole 和 Atari 环境中面对多样化领域偏移时，其泛化能力在多大程度上得以体现？

主要发现

• AdaRL 仅需目标领域少量样本，即可在 CartPole 和 Atari 游戏中取得优异性能，显著减少了对目标领域探索的需求。
• 该方法通过显式建模结构性变化，而非依赖黑箱参数更新，优于基线迁移强化学习方法。
• 结构掩码的使用实现了组件化适应，使适应过程具备可解释性且高效。
• 对变化因子和结构掩码施加稀疏性正则化，可得到必要的最小变化集合，提升泛化能力并减少过拟合。
• 该框架在部分可观察环境中成功实现了策略适应，表现出对观测和奖励函数变化的鲁棒性。
• 实证结果表明，AdaRL 即使在复杂领域偏移下，也能保持高样本效率，并避免完整的策略重训练。