[论文解读] Entity Abstraction in Visual Model-Based Reinforcement Learning

Rishi Veerapaneni, John D. Co-Reyes+6 more|arXiv (Cornell University)|Oct 28, 2019

Reinforcement Learning in Robotics参考文献 65被引用 32

一句话总结

OP3 提出了一种完全概率化的、以实体为中心的视觉模型化强化学习框架，无需任何监督即可从原始视觉观测中发现并绑定物体表征。通过强制实施实体抽象——即通过共享的局部函数对实体进行对称处理——该方法在新物体配置和数量下实现泛化，其在积木堆叠任务上的预测准确率比监督基线模型和最先进视频预测模型高出2–3倍。

ABSTRACT

This paper tests the hypothesis that modeling a scene in terms of entities and their local interactions, as opposed to modeling the scene globally, provides a significant benefit in generalizing to physical tasks in a combinatorial space the learner has not encountered before. We present object-centric perception, prediction, and planning (OP3), which to the best of our knowledge is the first fully probabilistic entity-centric dynamic latent variable framework for model-based reinforcement learning that acquires entity representations from raw visual observations without supervision and uses them to predict and plan. OP3 enforces entity-abstraction -- symmetric processing of each entity representation with the same locally-scoped function -- which enables it to scale to model different numbers and configurations of objects from those in training. Our approach to solving the key technical challenge of grounding these entity representations to actual objects in the environment is to frame this variable binding problem as an inference problem, and we develop an interactive inference algorithm that uses temporal continuity and interactive feedback to bind information about object properties to the entity variables. On block-stacking tasks, OP3 generalizes to novel block configurations and more objects than observed during training, outperforming an oracle model that assumes access to object supervision and achieving two to three times better accuracy than a state-of-the-art video prediction model that does not exhibit entity abstraction.

研究动机与目标

• 通过将场景建模为实体及其局部交互，而非全局场景表征，提升视觉模型化强化学习中的泛化能力。
• 解决在无监督条件下将抽象实体变量与原始视觉观测中的真实世界物体进行对齐的挑战。
• 通过在实体表征间强制对称性，实现对组合复杂多物体环境的可扩展推理。
• 开发一种框架，利用时间连续性和交互反馈，对动态推断的实体状态进行规划与预测。
• 通过将实体视为动态概率模型中的潜在随机变量，弥合符号推理与连续高维视觉数据之间的鸿沟。

提出的方法

• 构建一个状态因子化的POMDP，其中潜在状态被分解为局部实体变量，每个变量由共享的对称函数处理，以强制实现实体抽象。
• 采用一种交互式推理算法，利用时间连续性和动作-观测反馈，优化实体变量的后验分布。
• 集成一个动力学模型，用于在时间维度上传播实体状态，从而在杂乱或遮挡场景中更好地实现物体区分。
• 使用摊销迭代变分推理，从观测和动作序列中高效推断实体表征。
• 应用可微分的概率观测模型，基于预测的实体状态和动作预测未来观测。
• 通过使用相同的以实体为中心的动力学和观测模型，对预测的未来实体状态与目标状态进行评分，实现规划。

实验结果

研究问题

• RQ1 通过以实体为中心的局部交互建模场景，是否能提升在视觉模型化强化学习中新物体配置和数量下的泛化能力？
• RQ2 仅使用原始视觉观测和时间反馈，如何将实体表征与环境中实际物体进行对齐？
• RQ3 强制对实体处理函数施加对称性（即实体抽象）是否能提升对未见多物体组合的可扩展性和迁移能力？
• RQ4 结合时间一致性的交互式推理是否能提升在存在遮挡和杂乱的复杂现实场景中的物体区分能力？
• RQ5 与全局或排列敏感的建模方式相比，实体抽象在预测准确率和规划性能方面表现如何？

主要发现

• OP3 能泛化到训练期间未见过的积木配置和更多物体数量，展现出强大的组合泛化能力。
• OP3 的预测准确率比假设可访问真实物体监督的“理想”模型高出2–3倍，且优于最先进视频预测模型。
• 在真实世界评估中，OP3 成功通过利用时间动态和动作反馈区分了机械臂、毛巾和容器等物体，而 IODINE（逐帧应用）仅能实现颜色分割，无法进一步区分。
• 交互式推理过程使 OP3 能够在时间步之间优化实体表征，利用预测误差纠正潜在分配，从而提升物体分割准确率。
• OP3 即使在存在遮挡和形变物体的情况下，也能保持物体跟踪与分割的时间一致性，优于非动态基线方法。
• 强制实施实体抽象使知识可在不同物体配置间迁移，使得同一函数可统一应用于任意数量或排列的物体。