[论文解读] Concept Learning with Energy-Based Models

Igor Mordatch|arXiv (Cornell University)|Nov 6, 2018

Machine Learning and Data Classification参考文献 32被引用 7

一句话总结

本文提出了一种基于能量的抽象概念模型，通过推理时优化，从少量示范中学习视觉、关系和时间等抽象概念。通过将概念定义为事件配置和注意力掩码上的能量函数，该框架实现了动态的概念识别与生成，所学概念可在不同环境中实现迁移。

ABSTRACT

Many hallmarks of human intelligence, such as generalizing from limited experience, abstract reasoning and planning, analogical reasoning, creative problem solving, and capacity for language require the ability to consolidate experience into concepts, which act as basic building blocks of understanding and reasoning. We present a framework that defines a concept by an energy function over events in the environment, as well as an attention mask over entities participating in the event. Given few demonstration events, our method uses inference-time optimization procedure to generate events involving similar concepts or identify entities involved in the concept. We evaluate our framework on learning visual, quantitative, relational, temporal concepts from demonstration events in an unsupervised manner. Our approach is able to successfully generate and identify concepts in a few-shot setting and resulting learned concepts can be reused across environments. Example videos of our results are available at sites.google.com/site/energyconceptmodels

研究动机与目标

• 为解决人工智能智能体从有限经验中泛化的问题，通过学习抽象概念作为推理的基本构建模块。
• 开发一种框架，其中概念通过能量函数隐式定义，实现在推理过程中动态推断与组合，而非静态的离线训练。
• 通过学习与领域无关的能量函数，实现在不同环境和控制平台间复用概念。
• 探究基于优化的推理是否能在无需显式生成模型或策略网络的情况下，有效生成和识别概念。

提出的方法

• 将概念定义为事件配置（实体轨迹）和识别相关实体的注意力掩码上的能量函数。
• 在推理时使用基于梯度的优化，通过注意力掩码将能量最小化至零，以识别参与概念的实体。
• 通过优化事件配置（如位置和状态）生成涉及概念的新事件，使能量函数下的能量达到零。
• 采用关系神经网络架构建模多个实体之间的交互，提升对形状和时间关系等多实体概念的性能。
• 使用最大似然（ML）和KL散度目标的组合训练能量函数，以确保真实事件的判别能力与高质量样本生成。
• 通过在不同模拟器（如3D Mujoco机器人）中应用相同的能量函数，并使用模型预测控制作为优化引擎，实现跨环境复用。

实验结果

研究问题

• RQ1 基于能量的模型能否仅从少数示范事件中学习视觉（如‘红色’）、数量、关系（如‘在……之上’）和时间（如‘之后’）等抽象概念？
• RQ2 在少样本设置下，对概念编码进行运行时优化是否能有效实现概念识别与生成？
• RQ3 在训练过程中引入KL散度目标是否能提升能量模型生成样本的质量？
• RQ4 所学能量函数在具有不同动力学特性和执行机制的不同环境中，能在多大程度上实现复用？
• RQ5 使用关系网络架构在多大程度上提升了模型学习复杂多实体概念的能力？

主要发现

• 该模型成功从极少示范中学习并生成多样化概念，包括视觉（如‘红色’）、关系（如‘在……之上’）和时间（如‘之后’）等概念。
• 在训练中引入KL散度目标显著提升了生成样本的质量，表现为负对数似然更低，且与真实样本能量更一致。
• 若不使用关系网络，模型无法生成连贯的多实体概念（如由多个物体构成的‘方形’），凸显了关系归纳偏置的重要性。
• 在2D粒子环境中学习到的能量函数成功复用于3D Mujoco模拟器中的机械臂任务，尽管动力学和控制机制不同，仍证明了跨环境的可迁移性。
• 基于优化的推理（使用梯度下降）在少量步骤内即可生成高质量样本，优于仅依赖最大似然且未显式监督推理过程的方法。