[论文解读] Graph schemas as abstractions for transfer learning, inference, and planning

J. Swaroop Guntupalli, Rajkumar Vasudeva Raju+7 more|arXiv (Cornell University)|Feb 14, 2023

Memory and Neural Mechanisms被引用 6

一句话总结

本文提出图模式（graph schemas）作为一种受认知启发的抽象机制，用于在存在感知混淆的不完全可观察环境中实现快速迁移学习、推理与规划。通过从经验中学习潜在图结构（模式），并复用这些结构来组合新环境，该方法实现了仅用极少数据即可快速生成地图与规划，优于基线方法在零样本学习任务及复杂2D/3D环境中的表现。

ABSTRACT

Transferring latent structure from one environment or problem to another is a mechanism by which humans and animals generalize with very little data. Inspired by cognitive and neurobiological insights, we propose graph schemas as a mechanism of abstraction for transfer learning. Graph schemas start with latent graph learning where perceptually aliased observations are disambiguated in the latent space using contextual information. Latent graph learning is also emerging as a new computational model of the hippocampus to explain map learning and transitive inference. Our insight is that a latent graph can be treated as a flexible template -- a schema -- that models concepts and behaviors, with slots that bind groups of latent nodes to the specific observations or groundings. By treating learned latent graphs (schemas) as prior knowledge, new environments can be quickly learned as compositions of schemas and their newly learned bindings. We evaluate graph schemas on two previously published challenging tasks: the memory & planning game and one-shot StreetLearn, which are designed to test rapid task solving in novel environments. Graph schemas can be learned in far fewer episodes than previous baselines, and can model and plan in a few steps in novel variations of these tasks. We also demonstrate learning, matching, and reusing graph schemas in more challenging 2D and 3D environments with extensive perceptual aliasing and size variations, and show how different schemas can be composed to model larger and more complex environments. To summarize, our main contribution is a unified system, inspired and grounded in cognitive science, that facilitates rapid transfer learning of new environments using schemas via map-induction and composition that handles perceptual aliasing.

研究动机与目标

• 开发一个统一系统，利用可重用的结构化抽象实现在新环境中的快速迁移学习。
• 通过学习潜在图结构作为先验知识，解决感知混淆问题——即多个状态产生相同观测。
• 通过将新观测与先前学习的图模式进行匹配与绑定，实现快速推理与规划。
• 通过模块化、分层抽象实现图模式的组合，以建模日益复杂的环境。
• 在需要零样本泛化与快速适应的挑战性任务中验证该方法。

提出的方法

• 利用克隆结构认知图（CSCG）模型，从不完全可观察环境中的观测-动作序列中学习高阶潜在图结构。
• 将学习到的潜在图视为可灵活绑定新观测的模式，通过模式复用实现迁移学习。
• 采用联合转移张量组合多个模式，建模不同模式状态之间的转移，实现组合泛化。
• 使用维特比解码结合最大乘积消息传递，推断当前状态并规划在接地模式中的最短路径。
• 对转移张量应用对角平滑，以提升在新环境中尺寸与形状变化下的泛化能力。
• 通过利用真实位置信息的高效路径生成进行训练，确保数据收集的平衡性与快速收敛。

实验结果

研究问题

• RQ1 图模式是否能在极少经验下实现在新环境中的快速迁移学习？
• RQ2 图模式在存在观测模糊性的2D与3D环境中，对感知混淆的处理效果如何？
• RQ3 通过模块化抽象，组合后的模式是否能建模更大、更复杂的环境？
• RQ4 与端到端学习相比，图模式在推理与规划速度方面提升程度如何？
• RQ5 在如StreetLearn和记忆与规划游戏等零样本学习场景中，模式复用对性能的影响如何？

主要发现

• 在10,000次训练步骤下，基于图模式的CSCG模型测试负对数似然（NLL）为0.17，完美恢复了联合转移图；而无图模式的完整CSCG学习需30,000步，测试NLL为1.21。
• 基于图模式的方法仅用10,000步即完美恢复复合转移图，而基线CSCG学习即使在30,000步下也未能收敛。
• 在捷径寻找任务中，基于图模式的规划器在不同房间尺寸下均减少了重规划次数与至目标的曼哈顿距离，且由于对角平滑，其在尺寸与形状变化下性能更优。
• 该方法在记忆与规划游戏及StreetLearn的新变体中成功实现零样本规划，仅用极少新数据即实现快速推理与规划。
• 图模式组合使通过组合已预训练的小型模式，实现对复杂2D与3D环境的建模成为可能，展现出可扩展性与模块化优势。
• 通过使用发射绑定与接地模式推理，即使在仅限探索的200步随机行走后，仍能实现准确的状态估计与路径规划。