[论文解读] Disentangling Transfer in Continual Reinforcement Learning

Maciej Wołczyk, Michał Zając+3 more|arXiv (Cornell University)|Sep 28, 2022

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文通过系统分析Soft Actor-Critic (SAC) 的各个组件，包括智能体、评论家、探索策略和回放缓冲区，解耦了持续强化学习（CRL）中知识迁移的驱动因素。所提出的ClonEx-SAC方法——采用行为克隆进行策略回放并结合多策略探索——在Continual World基准上实现了87%的最终成功率和0.54的正向迁移率，优于PackNet（80%成功率，0.18迁移率）。

ABSTRACT

The ability of continual learning systems to transfer knowledge from previously seen tasks in order to maximize performance on new tasks is a significant challenge for the field, limiting the applicability of continual learning solutions to realistic scenarios. Consequently, this study aims to broaden our understanding of transfer and its driving forces in the specific case of continual reinforcement learning. We adopt SAC as the underlying RL algorithm and Continual World as a suite of continuous control tasks. We systematically study how different components of SAC (the actor and the critic, exploration, and data) affect transfer efficacy, and we provide recommendations regarding various modeling options. The best set of choices, dubbed ClonEx-SAC, is evaluated on the recent Continual World benchmark. ClonEx-SAC achieves 87% final success rate compared to 80% of PackNet, the best method in the benchmark. Moreover, the transfer grows from 0.18 to 0.54 according to the metric provided by Continual World.

研究动机与目标

• 理解持续强化学习（CRL）中知识迁移的关键驱动因素，特别是在SAC框架下的表现。
• 分离并量化各个组件（智能体、评论家、探索策略、回放缓冲区）对迁移效率的贡献。
• 评估在长任务序列中，缓解灾难性遗忘与最大化正向迁移之间的权衡。
• 识别能够同时提升性能与迁移效率的最优架构与训练设计选择。
• 基于实验消融分析与消融引导的架构设计，提供可操作的CRL智能体设计建议。

提出的方法

• 在双任务设置中系统性地消融SAC组件（智能体、评论家、探索策略、回放缓冲区），以隔离其对迁移的贡献。
• 采用行为克隆（BC）对过往策略进行回放，以减少智能体网络中的灾难性遗忘。
• 提出多策略探索：在每个任务开始时，智能体查询所有先前任务中表现最佳的策略，以生成初始探索数据。
• 使用包含10个和20个任务序列的Continual World基准，评估性能与正向迁移指标。
• 对评论家正则化进行广泛超参数搜索，并对比基于正则化、参数隔离与回放的CL方法。
• 采用自举法置信区间（90%）确保在超过10万次训练运行中报告指标的统计稳健性。

实验结果

研究问题

• RQ1 SAC中的哪些组件（智能体、评论家、探索策略、回放缓冲区）对CRL中的正向迁移影响最大？
• RQ2 不同的知识回放策略（如行为克隆或回放缓冲区复用）如何影响平均性能与正向迁移？
• RQ3 对评论家进行正则化在多大程度上能提升持续强化学习中的性能或迁移效率？
• RQ4 在长序列的CRL中，利用过往策略的多策略探索是否能优于标准探索策略？
• RQ5 在遗忘缓解与迁移最大化之间的相互作用如何塑造高效CRL智能体的设计？

主要发现

• 评论家在迁移中起最关键作用，探索策略与智能体也贡献了较小但不可忽视的影响。
• 各组件的贡献在很大程度上相互独立，表明CRL智能体可采用模块化设计原则。
• 通过行为克隆回放过往策略，显著提升了平均性能（87%成功率）与正向迁移（0.54）。
• 复用先前任务的策略用于探索可带来显著的性能提升，证明了策略复用的价值。
• 对评论家进行正则化并未提升性能，甚至在高正则化强度下可能造成性能下降。
• ClonEx-SAC在CW10上实现了87%的最终成功率与0.54的正向迁移率，优于PackNet（80%与0.18），且正向迁移率接近考虑探索因素后的软上界。