[论文解读] A Perspective on Objects and Systematic Generalization in Model-Based RL

Sjoerd van Steenkiste, Klaus Greff+1 more|arXiv (Cornell University)|Jun 3, 2019

Semantic Web and Ontologies参考文献 39被引用 15

一句话总结

本文主张，基于模型的强化学习（RL）智能体要实现系统性泛化与样本效率，必须依赖动态构建的、基于对象的世界模型。文章提出，对象——即模块化、组合式且可重用的表征——必须通过针对性的归纳偏置，在表征、分离与组合三个层面显式集成，图网络与记忆增强架构则为实现动态、任务特定的模型构建提供了有前景的框架。

ABSTRACT

In order to meet the diverse challenges in solving many real-world problems, an intelligent agent has to be able to dynamically construct a model of its environment. Objects facilitate the modular reuse of prior knowledge and the combinatorial construction of such models. In this work, we argue that dynamically bound features (objects) do not simply emerge in connectionist models of the world. We identify several requirements that need to be fulfilled in overcoming this limitation and highlight corresponding inductive biases.

研究动机与目标

• 解决基于模型的强化学习中单体化、非组合式世界模型在系统性泛化方面失败的局限性。
• 论证对象——即动态绑定、可重用的特征——对于智能体的模块化知识复用与组合泛化至关重要。
• 识别并强调在连接主义模型中嵌入对象的三大核心挑战：表征、分离（对象发现）与组合（关系推理）。
• 指出当前深度学习模型无法自然生成对象，因此必须通过显式归纳偏置来促成其出现。
• 倡导构建一个整合对象、注意力机制、记忆系统与动态模型构建的综合系统，以实现可扩展、可泛化的强化学习智能体。

提出的方法

• 提出对象表征必须具备通用性、支持多对象，并采用统一格式，以支持组合推理与零样本泛化。
• 引入使用权重共享的图网络，通过将对象视为节点、关系视为边，实现关系推理。
• 建议采用记忆增强RNN或快速权重机制，以支持对对象状态的动态计算，实现实时灵活的模型构建。
• 主张将无监督或弱监督的对象发现（分离）作为连接主义系统中关键但尚未充分发展的挑战。
• 建议将对象与注意力机制结合，以聚焦于相关特征；并与记忆系统结合，以实现长期知识检索。
• 提出动态绑定——即在上下文依赖下为对象分配角色——需要整体系统设计，而非孤立组件的堆叠。

实验结果

研究问题

• RQ1 为何标准连接主义模型中对象无法自然涌现？需要何种归纳偏置才能促成其涌现？
• RQ2 如何使对象表征在极小数据量下支持跨多样化任务的系统性泛化？
• RQ3 在实时环境中动态发现与绑定对象的核心挑战是什么？如何实现可扩展的解决方案？
• RQ4 如何以支持组合泛化的方式实现对象的组合，特别是在关系或层次化环境中？
• RQ5 记忆、注意力与基于图的计算在利用对象实现动态、任务特定的模型构建中分别发挥何种作用？

主要发现

• 对象在标准深度学习模型中并非自然涌现，必须通过在表征、分离与组合层面施加显式归纳偏置，才能有效发挥作用。
• 图网络为组合推理提供了有前景的框架，通过共享权重在对象节点间传递消息，支持系统性泛化。
• 分离问题——即在无监督条件下从原始观测中发现对象——是当前系统中最被忽视且最具挑战性的组件。
• 当前对象发现方法严重依赖预处理、监督信号或工程化生成模型，限制了其在真实世界数据上的可扩展性与泛化能力。
• 将对象与记忆及注意力机制结合，可实现模块化、上下文感知的推理，提升样本效率与迁移学习性能。
• 必须构建一个统一对象表征、动态绑定与复合模型反馈的综合系统，才能充分释放连接主义强化学习中对象的全部潜力。