[论文解读] Adaptive Skills, Adaptive Partitions (ASAP)

Daniel J. Mankowitz, Timothy Mann+1 more|arXiv (Cornell University)|Feb 10, 2016

Reinforcement Learning in Robotics参考文献 27被引用 22

一句话总结

ASAP 提出了一种统一框架，通过自适应超平面划分，在连续状态空间中联合学习技能及其最优应用策略（即技能间策略），实现技能的自动重用与多任务泛化。该方法收敛至局部最优解，并通过跨任务重用技能显著降低了样本复杂度。

ABSTRACT

We introduce the Adaptive Skills, Adaptive Partitions (ASAP) framework that (1) learns skills (i.e., temporally extended actions or options) as well as (2) where to apply them. We believe that both (1) and (2) are necessary for a truly general skill learning framework, which is a key building block needed to scale up to lifelong learning agents. The ASAP framework can also solve related new tasks simply by adapting where it applies its existing learned skills. We prove that ASAP converges to a local optimum under natural conditions. Finally, our experimental results, which include a RoboCup domain, demonstrate the ability of ASAP to learn where to reuse skills as well as solve multiple tasks with considerably less experience than solving each task from scratch.

研究动机与目标

• 解决对一种通用技能学习框架的需求，该框架能同时学习技能及其应用位置。
• 实现技能在状态空间不同区域及多个任务间的自动组合与重用。
• 通过联合优化，修正模型误设问题，改进次优技能集与技能间策略。
• 在自然条件下为学习过程提供理论收敛保证。
• 在连续状态 MDP 中展示可扩展性与高效性，特别是在 RoboCup 等复杂环境中的表现。

提出的方法

• 使用广义轨迹框架形式化问题，以支持技能策略与技能划分超平面的联合梯度更新。
• 通过参数化超平面（线性或多项式）表示技能划分，定义状态空间中特定技能被应用的区域。
• 采用策略梯度方法，联合优化技能内策略（技能内部的动作）与技能间策略（选择执行哪个技能）。
• 使用类似贝叶斯的存储机制保存已学习的技能集与划分方式，以支持动态适应与重用。
• 通过可微分的划分表示，对技能参数与超平面参数（如权重与偏置）同时应用梯度更新。
• 将特征工程（如 RoboCup 中球员的相对位置）融入超平面基函数，以提升对环境动态的适应能力。

实验结果

研究问题

• RQ1 能否在一个统一框架中，在连续状态 MDP 中联合学习最优技能及其部署策略（即技能间策略）？
• RQ2 如何在无需人工指定的情况下，自动实现技能在状态空间不同区域的组合与重用？
• RQ3 该框架在联合优化下，能在多大程度上纠正初始模型误设（即次优技能与策略）？
• RQ4 当环境发生变化时，例如在 RoboCup 领域中新增球员（如防守者），该框架如何适应？
• RQ5 与从零开始训练相比，该框架是否能在多个相关任务中实现更低的样本复杂度并实现泛化？

主要发现

• 在 2D 导航任务中，ASAP 实现了近最优性能，通过自适应超平面划分，成功在状态空间的两个不同区域重用技能 A。
• 在 RoboCup 领域中，ASAP 学习到了直观且自适应的技能划分：当引入防守者特征时，划分形状发生了有意义的变化，体现出对环境动态的高度敏感性。
• 在 R2 域中，使用防守者 x 位置作为特征时，技能划分更平坦；而使用 x 和 y 位置时，划分呈现‘压扁’形态，反映出对防守者进行策略性绕行的意图。
• 在 R1 域中，线性超平面表示优于多项式表示，以更少的参数和更快的收敛速度实现了近最优性能。
• ASAP 对初始化具有鲁棒性，收敛至多个局部最优解，且所有解均达到近最优性能，表明学习动态稳定。
• 通过在任务间重用现有技能，该框架显著降低了样本复杂度，在多任务场景中优于从零开始训练的基线方法。