[论文解读] Better transfer learning with inferred successor maps

Tamás J. Madarász|arXiv (Cornell University)|Jun 18, 2019

Machine Learning and Algorithms参考文献 51被引用 15

一句话总结

该论文提出了一种新颖的迁移学习框架，通过非参数聚类奖励函数来推断后续映射（successor maps），从而增强后续表示（SR），实现了在奖励变化时的高效适应。通过在灵活的SR映射集合上进行 amortized 推断，并结合基于相似性的策略回忆，该方法在已知和未标记的奖励变化下均优于基线模型，同时解释了海马体‘闪烁’现象和分裂细胞等神经生物学现象。

ABSTRACT

Humans and animals show remarkable flexibility in adjusting their behaviour when their goals, or rewards in the environment change. While such flexibility is a hallmark of intelligent behaviour, these multi-task scenarios remain an important challenge for machine learning algorithms and neurobiological models alike. We investigated two approaches that could enable this flexibility: factorized representations, which abstract away general aspects of a task from those prone to change, and nonparametric, memory-based approaches, which can provide a principled way of using similarity to past experiences to guide current behaviour. In particular, we combine the successor representation (SR) that factors the value of actions into expected outcomes and corresponding rewards with evaluating task similarity through clustering the space of reward functions. The proposed algorithm inverts a generative model over tasks, and dynamically samples from a flexible number of distinct SR maps while accumulating evidence about the current task context through amortized inference. It improves SR's transfer capabilities and outperforms competing algorithms and baselines in settings with both known and unsignalled rewards changes. Further, as a neurobiological model of spatial coding in the hippocampus, it explains important signatures of this representation, such as the "flickering" behaviour of hippocampal maps, and trajectory-dependent place cells (so-called splitter cells) and their dynamics. We thus provide a novel algorithmic approach for multi-task learning, as well as a common normative framework that links together these different characteristics of the brain's spatial representation.

研究动机与目标

• 解决在缺乏显式任务边界的情况下，奖励函数发生变化时强化学习中高效迁移学习的挑战。
• 克服标准后续表示对策略的依赖性，该依赖性在重大奖励变化后会阻碍有效迁移。
• 构建一个具有神经科学依据的框架，解释海马体中的实证发现，如‘闪烁’映射和轨迹依赖性 place cells。
• 将非参数、基于记忆的推理与因子分解表示相结合，实现在有限内存和计算成本下的持续学习。

提出的方法

• 利用任务的生成模型，通过在一组后续映射上的 amortized 推断来反转并推断当前任务情境。
• 使用基于核函数的扩散表示对奖励函数空间进行聚类，以实现基于相似性的过去策略检索。
• 将价值函数表示为后续表示（SRs）和相应奖励映射（CRs）的混合，其权重由任务相似性推断得出。
• 基于当前奖励函数，使用非参数贝叶斯方法动态采样可变数量的 SR 映射。
• 应用卷积式、扩散型奖励表示，实现在不假设固定策略熵的前提下，对奖励函数之间实现平滑的相似性估计。
• 通过从 SR 特异性缓冲区中采样来整合经验回放，与聚类和推理过程对齐，以支持持续学习。

实验结果

研究问题

• RQ1 如何在不发生灾难性遗忘的前提下，使后续表示对奖励函数的大规模、未标记变化更具鲁棒性？
• RQ2 对奖励函数进行非参数聚类是否能通过基于任务相似性的策略重用来改善迁移学习？
• RQ3 与标准 SR 相比，共享的、因子分解的未来状态预期表示（SR）与任务特定的奖励映射（CR）组合，是否能更好地支持持续学习？
• RQ4 该框架能否解释海马体空间编码中的神经生物学标志，如‘闪烁’现象和分裂细胞？
• RQ5 奖励函数推断中的不确定性如何影响表示切换的动力学和行为轨迹？

主要发现

• 所提出的 BSR 方法（贝叶斯后续表示）在导航任务中，相较于标准 SR 和先前基线模型，在已知和未标记的奖励变化下均显著提升了迁移性能。
• BSR 通过聚类相似的奖励函数并基于当前任务相似性动态选择合适的 SR 映射，实现了高效的策略重用。
• 该模型重现了关键的神经生物学现象：由于任务身份不确定而引起的海马体映射‘闪烁’，以及由动态映射切换引发的轨迹依赖性 place cells（分裂细胞）。
• 该模型预测，当对当前奖励函数的不确定性增加时，映射闪烁的速率也随之上升，且由于映射选择中的推断错误，会出现次优轨迹。
• 预测活跃的后续映射数量将与经验到的奖励空间的多样性成比例，表明存在一种动态、自适应的表示容量。
• 该模型将内侧前额叶皮层识别为 SR 映射混合权重的潜在神经基质，将扣带皮层识别为 CR 映射表示的神经基质。