[论文解读] Generative Neurosymbolic Machines

Jindong Jiang, Sungjin Ahn|arXiv (Cornell University)|Oct 23, 2020

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 9

一句话总结

本文提出生成式神经符号机器（GNM），一种分层生成模型，结合分布式潜在变量以实现灵活的密度建模，并结合符号化、结构化的表征以提升可解释性与组合性。通过引入两层潜在层次结构及 StructDRAW 自回归先验，GNM 在 ARROW 和 MNIST-10 基准测试中，于结构表征准确率与图像生成质量方面均达到当前最优性能，显著优于先前模型。

ABSTRACT

Reconciling symbolic and distributed representations is a crucial challenge that can potentially resolve the limitations of current deep learning. Remarkable advances in this direction have been achieved recently via generative object-centric representation models. While learning a recognition model that infers object-centric symbolic representations like bounding boxes from raw images in an unsupervised way, no such model can provide another important ability of a generative model, i.e., generating (sampling) according to the structure of learned world density. In this paper, we propose Generative Neurosymbolic Machines, a generative model that combines the benefits of distributed and symbolic representations to support both structured representations of symbolic components and density-based generation. These two crucial properties are achieved by a two-layer latent hierarchy with the global distributed latent for flexible density modeling and the structured symbolic latent map. To increase the model flexibility in this hierarchical structure, we also propose the StructDRAW prior. In experiments, we show that the proposed model significantly outperforms the previous structured representation models as well as the state-of-the-art non-structured generative models in terms of both structure accuracy and image generation quality. Our code, datasets, and trained models are available at https://github.com/JindongJiang/GNM

研究动机与目标

• 解决当前深度学习模型在同时支持结构化、可解释性表征与基于密度的图像生成方面的局限性。
• 在统一的生成框架中调和符号化与分布式表征，实现对复杂场景的识别与想象。
• 设计一种分层潜在结构，以无监督、端到端可训练的方式同时支持全局密度建模与局部符号组合性。
• 通过一种新颖的自回归先验 StructDRAW，提升结构化表征的表达能力，实现结构化特征绘制。
• 证明所提模型在结构准确率与图像生成质量方面均优于当前最优基线模型。

提出的方法

• 模型采用两层潜在层次结构：用于灵活密度建模的全局分布式潜在变量 $\mathbf{z}^g$，以及用于基于实体表征的结构化符号潜在图 $\mathbf{z}^s$。
• 通过条件先验，利用全局潜在变量 $\mathbf{z}^g$ 条件化生成结构化符号表征 $\mathbf{z}^s$，实现基于密度的采样。
• 引入 StructDRAW 先验作为结构化潜在图上的自回归先验，支持顺序、结构化的特征绘制，提升表达能力。
• 在 StructDRAW 中引入 MLP 交互层，以建模符号组件之间的依赖关系，增强表征能力。
• 采用变分推断目标进行端到端训练，包含 KL 散度项，同时优化重建损失与先验似然。
• 该框架支持识别（从 $\mathbf{x}$ 推断 $\mathbf{z}^s$）与生成（从 $\mathbf{z}^g$ 和 $\mathbf{z}^s$ 采样 $\mathbf{x}$），实现新颖场景的合成。

实验结果

研究问题

• RQ1 生成模型能否同时学习可解释的、符号化的、以对象为中心的表征，并根据底层数据密度生成图像？
• RQ2 如何设计分层潜在结构，以协同支持全局密度建模与局部符号组合性？
• RQ3 像 StructDRAW 这类自回归先验在提升结构化潜在表征的表达能力与准确率方面发挥何种作用？
• RQ4 所提模型在结构准确率与图像质量方面，相较于现有结构化与非结构化生成模型，优越程度如何？
• RQ5 诸如全局先验与 MLP 交互层等架构组件在模型性能中发挥何种贡献？

主要发现

• 在 ARROW 数据集上，GNM-Struct 的结构准确率达到 0.976，显著优于 ConvDRAW（0.176）与 GNM-Gaussian（0.784）。
• 在 MNIST-10 数据集上，GNM-Struct 的结构准确率达到 0.824，大幅超过 ConvDRAW（0.000）与 GNM-Gaussian（0.096）。
• GNM-Struct 在 ARROW 上获得 33,809 的对数似然，在 MNIST-10 上获得 10,450，两项指标均优于所有基线模型。
• 消融实验表明，StructDRAW 先验与 MLP 交互层均为关键组件，移除任一均导致性能显著下降。
• 当 KL 项中的 $\beta$ 增加时，该模型表现出对数似然的平稳下降，同时保持高结构准确率，而基线模型则出现严重性能下降。
• 潜在变量遍历的可视化结果表明，GNM 可通过独立控制符号组件（如物体位置与方向）生成连贯、结构化的场景。