[论文解读] ADAAPT: A Deep Architecture for Adaptive Policy Transfer from Multiple Sources

Janarthanan Rajendran, Prateek Prasanna+2 more|arXiv (Cornell University)|Oct 10, 2015

Reinforcement Learning in Robotics参考文献 30被引用 10

一句话总结

ADAAPT 是一种深度强化学习架构，可实现从多个源任务到目标任务的自适应、选择性策略迁移，减轻负面迁移并提高学习效率。在模拟环境中的实证结果表明，它能有效利用任务之间的共享状态-动作空间，优于非迁移和非自适应方法。

ABSTRACT

The ability to transfer knowledge from learnt source tasks to a new target task can be very useful in speeding up the learning process of a Reinforcement Learning agent. This has been receiving a lot of attention, but the application of transfer poses two serious challenges which have not been adequately addressed in the past. First, the agent should be able to avoid negative transfer, which happens when the transfer hampers or slows down the learning instead of speeding it up. Secondly, the agent should be able to do selective transfer which is the ability to select and transfer from different and multiple source tasks for different parts of the state space of the target task. We propose ADAAPT: A Deep Architecture for Adaptive Policy Transfer, which addresses these challenges. We test ADAAPT using two different instantiations: One as ADAAPTive REINFORCE algorithm for direct policy search and another as ADAAPTive Actor-Critic where the actor uses ADAAPT. Empirical evaluations on simulated domains show that ADAAPT can be effectively used for policy transfer from multiple source MDPs sharing the same state and action space.

研究动机与目标

• 为解决多源强化学习迁移中的负面迁移挑战。
• 通过根据目标任务状态空间的不同区域自适应地选择使用哪些源策略，实现选择性迁移。
• 设计一种深度架构，动态整合来自多个源任务的策略，以提升目标任务的学习效果。
• 在具有共享状态和动作空间的模拟环境中，评估自适应迁移的有效性。

提出的方法

• ADAAPT 采用一种深度神经网络架构，根据当前状态学习门控和组合来自多个源任务的策略。
• 它使用一种路由机制，根据输入状态自适应地选择相关源策略，最大限度减少无关源的干扰。
• 该架构具体实现为 ADAAPTive REINFORCE 和 ADAAPTive Actor-Critic，支持直接策略搜索和演员-评论家学习。
• 模型使用策略梯度方法进行端到端训练，采用类似注意力的路由机制，优先选择有用的源策略。
• 该方法确保仅转移有益知识，降低负面迁移的风险。

实验结果

研究问题

• RQ1 从多个源进行自适应策略迁移是否能减少强化学习中的负面迁移？
• RQ2 智能体在当前状态下，能否有效选择并组合来自不同源任务的策略？
• RQ3 在具有共享状态-动作空间的目标任务中，选择性迁移是否能提升学习速度和性能？
• RQ4 在模拟环境中，ADAAPT 与非自适应或单源迁移方法相比表现如何？

主要发现

• ADAAPT 通过仅在每个状态区域激活相关源策略，显著减少了负面迁移。
• 该架构相比非迁移和非自适应迁移基线方法，实现了目标任务的更快收敛。
• 实证评估表明，在多个具有共享状态和动作空间的模拟领域中，性能均实现一致提升。
• 自适应路由机制能有效识别并利用状态空间不同部分中最有益的源策略。