[论文解读] Compositional Visual Generation and Inference with Energy Based Models

Yilun Du, Shuang Li+1 more|arXiv (Cornell University)|Apr 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 48被引用 8

一句话总结

本文提出了一种基于能量模型（EBM）的新型组合视觉生成与推理框架，其中‘微笑’或‘男性’等概念被表示为独立的能量函数。通过使用逻辑运算符（合取、析取、否定）组合这些函数，模型能够生成满足复杂复合概念的一致性图像，展示了在CelebA和合成3D场景上的持续学习、零样本组合泛化以及鲁棒的概念推理能力。

ABSTRACT

A vital aspect of human intelligence is the ability to compose increasingly complex concepts out of simpler ideas, enabling both rapid learning and adaptation of knowledge. In this paper we show that energy-based models can exhibit this ability by directly combining probability distributions. Samples from the combined distribution correspond to compositions of concepts. For example, given a distribution for smiling faces, and another for male faces, we can combine them to generate smiling male faces. This allows us to generate natural images that simultaneously satisfy conjunctions, disjunctions, and negations of concepts. We evaluate compositional generation abilities of our model on the CelebA dataset of natural faces and synthetic 3D scene images. We also demonstrate other unique advantages of our model, such as the ability to continually learn and incorporate new concepts, or infer compositions of concept properties underlying an image.

研究动机与目标

• 使机器学习系统能够从已学习的简单组件组合出复杂的视觉概念，模拟人类的组合推理能力。
• 通过统一因子级与对象级的组合性，克服固定因子解耦表示和刚性对象槽模型在生成建模中的局限性。
• 通过添加新的能量函数（例如新发色）实现持续学习，而无需重新训练整个模型。
• 通过在推理时指定逻辑语句（如生成‘微笑且为男性’的图像），实现可控图像生成。
• 通过能量最小化方法，从多个观测中准确推断概念参数（如物体位置、形状），即使在未见过的多对象场景中也能实现。

提出的方法

• 将每个视觉概念（如‘微笑的脸’、‘男性’）表示为独立的标量能量函数，对表现出该概念的图像赋予低能量值。
• 使用逻辑运算符组合能量函数：合取（加法）、析取（最大值）、否定（补集），实现复杂概念的递归组合。
• 通过马尔可夫链蒙特卡洛（MCMC）采样生成图像，最小化组合函数的总能量，确保全局一致性。
• 在生成和推理过程中均使用拉姆齐动力学（Langevin dynamics）实现高效采样与能量最小化。
• 使用对比学习或噪声对比估计训练特定概念（如物体位置、形状、颜色）的独立EBM。
• 通过最小化多个观测中能量之和实现概念推理，利用最大后验估计（MAP）推断最可能的潜在概念参数（如位置）。

实验结果

研究问题

• RQ1 能量模型能否通过逻辑运算符（合取、析取、否定）组合视觉概念，生成一致且复杂的图像？
• RQ2 模型能否通过逐步添加新概念（无需重新训练整个系统）实现持续学习？
• RQ3 模型能否从未见的场景配置中，从多个观测中推断出潜在的概念参数（如物体位置、大小）？
• RQ4 模型在未见组合上的泛化能力如何，例如训练中未出现的多物体场景？
• RQ5 模型能否通过在推理时指定逻辑语句实现细粒度、可控的图像生成？

主要发现

• 该模型成功生成满足复杂复合概念（如‘微笑的男性’）的自然图像，通过组合‘微笑’和‘男性’的独立能量函数实现。
• 与基线模型相比，EBM在推断物体位置和大小方面泛化能力更强，使用更多样化的训练数据时，位置误差下降。
• 从多个观测中进行概念推理实现了高精度与鲁棒性，在位置预测任务中优于ResNet基线模型。
• 在测试包含两个立方体（训练中未出现）的场景时，EBM的能量图表现出与单个立方体能量图之和一致的双峰结构，证实了组合推理的有效性。
• 模型展示了零样本组合泛化能力：即使在训练中未见过的概念组合，也能生成合理图像。
• 能量函数的递归组合支持灵活、可控的生成，基于逻辑语句实现，统一了生成与推理框架。