[论文解读] Drawing out of Distribution with Neuro-Symbolic Generative Models

Yichao Liang, Joshua B. Tenenbaum+2 more|arXiv (Cornell University)|Jun 3, 2022

Handwritten Text Recognition Techniques被引用 4

一句话总结

DooD 是一种神经符号生成模型，通过可微分渲染和压缩推理，直接从原始图像中学习笔画基础图像的一般性、可解释表征。该模型在无需微调或测试时推理的情况下，实现了跨数据集的最先进零样本泛化性能，并在少样本分类与生成任务中表现优异。

ABSTRACT

Learning general-purpose representations from perceptual inputs is a hallmark of human intelligence. For example, people can write out numbers or characters, or even draw doodles, by characterizing these tasks as different instantiations of the same generic underlying process -- compositional arrangements of different forms of pen strokes. Crucially, learning to do one task, say writing, implies reasonable competence at another, say drawing, on account of this shared process. We present Drawing out of Distribution (DooD), a neuro-symbolic generative model of stroke-based drawing that can learn such general-purpose representations. In contrast to prior work, DooD operates directly on images, requires no supervision or expensive test-time inference, and performs unsupervised amortised inference with a symbolic stroke model that better enables both interpretability and generalization. We evaluate DooD on its ability to generalise across both data and tasks. We first perform zero-shot transfer from one dataset (e.g. MNIST) to another (e.g. Quickdraw), across five different datasets, and show that DooD clearly outperforms different baselines. An analysis of the learnt representations further highlights the benefits of adopting a symbolic stroke model. We then adopt a subset of the Omniglot challenge tasks, and evaluate its ability to generate new exemplars (both unconditionally and conditionally), and perform one-shot classification, showing that DooD matches the state of the art. Taken together, we demonstrate that DooD does indeed capture general-purpose representations across both data and task, and takes a further step towards building general and robust concept-learning systems.

研究动机与目标

• 开发一种适用于笔画基础图像的一般性、可解释表征，以实现数据与任务间的迁移能力。
• 通过将可微分渲染与符号化笔画组合相结合，克服纯神经网络或符号模型的局限性。
• 实现在无需监督或昂贵测试时优化的情况下，直接从图像中进行无监督、压缩推理。
• 在 MNIST、QuickDraw 和 Omniglot 等多样化数据集上，展示强大的零样本泛化能力。
• 使用单一统一模型，在少样本分类与无条件/条件生成任务中实现具有竞争力的性能。

提出的方法

• 该模型采用生成过程，通过自回归 RNN 逐步采样笔画位置 (lt)、笔画参数 (st) 和停止信号 (ot)。
• 每支笔画使用可微分的样条渲染器 (δR) 进行渲染，并通过 alpha 混合方式叠加到运行中的画布 (x<t) 上。
• 识别模型通过条件化于图像残差 (∆xt = x − x<t) 执行压缩推理，以预测下一步绘制步骤。
• 该模型采用变分推理框架，使用证据下界 (ELBO) 目标函数，并通过 NVIL 控制变量训练离散停止变量。
• 分层的类型-实例结构支持新样本的生成与 Omniglot 中的一少样本分类。
• 空间变换网络 (STNs) 实现了可微分的空间变换，以实现精确的笔画定位与渲染。

实验结果

研究问题

• RQ1 在单一数据集（如 MNIST）上训练的神经符号模型，是否能在无需微调的情况下泛化到分布外数据集（如 QuickDraw、Omniglot）？
• RQ2 与纯神经模型相比，符号化笔画模型在可解释性与泛化能力方面表现如何？
• RQ3 该模型是否能在保持高生成与重建质量的同时，实现跨数据集的零样本迁移？
• RQ4 该模型是否能在无监督或数据增强的情况下，实现少样本分类与无条件/条件生成任务中的竞争力表现？
• RQ5 与基于 MCMC 的推理相比，使用符号化笔画模型的压缩推理在效率与准确性方面表现如何？

主要发现

• DooD 在五个数据集上的零样本迁移任务中显著优于基线模型，包括从 MNIST 到 QuickDraw 的迁移，展现出强大的数据泛化能力。
• 该模型在 Omniglot 的少样本分类任务中达到最先进性能，无需额外监督或数据增强，表现与先前神经符号模型相当或更优。
• DooD 在无条件与条件生成任务中均能生成真实、清晰且无伪影的图像，优于常产生模糊输出的深度生成模型。
• 符号化笔画模型实现了形状组件的可解释解耦，定性分析显示潜在空间中存在有意义的组合结构。
• 通过识别模型实现的压缩推理，实现了快速、可扩展的推理，无需昂贵的 MCMC 采样，优于先前的符号化模型。
• 该模型能有效从 MNIST 泛化到 Omniglot，通过逐步笔画组合，以高保真度重建复杂字符。