[论文解读] Disentangled Cumulants Help Successor Representations Transfer to New Tasks

Christopher Grimm, Irina Higgins+6 more|arXiv (Cornell University)|Nov 25, 2019

Reinforcement Learning in Robotics参考文献 31被引用 7

一句话总结

本文提出一种两阶段强化学习框架，其中智能体首先通过内在好奇心学习解耦特征与控制策略，随后利用这些策略进行广义策略改进（GPI），以快速解决多样化的下游任务。该方法通过利用能够实现有效策略重组的解耦表征，在复杂任务上显著提升了数据效率和任务覆盖率，优于基线方法。

ABSTRACT

Biological intelligence can learn to solve many diverse tasks in a data efficient manner by re-using basic knowledge and skills from one task to another. Furthermore, many of such skills are acquired without explicit supervision in an intrinsically driven fashion. This is in contrast to the state-of-the-art reinforcement learning agents, which typically start learning each new task from scratch and struggle with knowledge transfer. In this paper we propose a principled way to learn a basis set of policies, which, when recombined through generalised policy improvement, come with guarantees on the coverage of the final task space. In particular, we concentrate on solving goal-based downstream tasks where the execution order of actions is not important. We demonstrate both theoretically and empirically that learning a small number of policies that reach intrinsically specified goal regions in a disentangled latent space can be re-used to quickly achieve a high level of performance on an exponentially larger number of externally specified, often significantly more complex downstream tasks. Our learning pipeline consists of two stages. First, the agent learns to perform intrinsically generated, goal-based tasks in the total absence of environmental rewards. Second, the agent leverages this experience to quickly achieve a high level of performance on numerous diverse externally specified tasks.

研究动机与目标

• 为解决深度强化学习中知识迁移能力差的问题，即智能体在每个新任务上通常需从头重新学习感知与控制。
• 在内生强化学习（ERL）设置下，开发一种系统性方法，通过无任务的内在交互发现可复用的、解耦的策略。
• 仅使用少量学习到的基线策略，实现对广泛外部指定的目标导向型下游任务的快速泛化。
• 从理论和实证上验证：通过GPI组合的解耦特征控制策略，相较于纠缠或非解耦方法，能实现更优的任务覆盖范围与数据效率。

提出的方法

• 智能体首先在无外部奖励的环境中探索，通过内在好奇心学习解耦特征，假设其满足OIC（观测不变累积量）性质。
• 将解耦特征离散化为若干区间，智能体学习$km$个特征控制策略，每个策略将某一特征驱动至特定区间值，从而构成一组基线策略。
• 在下游强化学习阶段，广义策略改进（GPI）通过为每个目标选择最优策略组合，将这些基线策略组合起来以解决新任务。
• 对后继表示矩阵应用“非对角线技巧”，用基于解耦特征和折扣因子$\gamma$推导出的精确值替换估计的非对角线元素，从而提升计算效率与估计精度。
• 在Spriteworld环境中评估该方法，使用真实解耦特征（x/y位置），在不同区间数与任务对齐条件下，与DQN和DIAYN进行性能比较。

实验结果

研究问题

• RQ1 在无任务的内在设置下学习到的解耦特征控制策略，能否通过GPI有效重组以解决广泛的下游任务？
• RQ2 与纠缠特征相比，使用解耦特征在GPI策略改进过程中的数据效率与任务覆盖率表现如何？
• RQ3 在后继表示估计中引入非对角线技巧，是否能提升ERL设置下的计算效率与性能？
• RQ4 该方法对特征离散化区间数与ERL区间边界和下游任务目标之间对齐程度的变化是否具有鲁棒性？

主要发现

• 使用解耦特征控制策略的GPI智能体在约50k个学习步数内完成任务，而DQN基线则需超过400k步，显示出显著的数据效率优势。
• 性能提升在更复杂的任务上最为显著，DQN基线需花费更长时间才能达到GPI智能体的性能水平。
• 基于解耦特征的GPI优于基于纠缠特征的GPI，表明解耦性对于有效策略重组与泛化至关重要。
• 非对角线技巧提升了计算效率与估计精度，尤其在解耦GPI设置中表现突出，且未影响性能。
• 该方法在不同区间数（$m = \{5,7,9\}$）下保持鲁棒，当任务目标与ERL区间边界对齐时仅获得轻微性能提升。