[论文解读] Learning Task-General Representations with Generative Neuro-Symbolic Modeling

Reuben Feinman, Brenden M. Lake|arXiv (Cornell University)|Jun 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用 5

一句话总结

该论文提出了一种生成式神经符号（GNS）模型，通过将概率程序与神经网络子程序相结合，学习手写字符的任务通用性、组合性及因果性表征。该模型使用符号化的笔画原语和可微分渲染器，从原始数据生成多样化的字符风格，在四个任务中仅用一张训练图像即实现人类水平的 few-shot 泛化能力，其生成质量与似然度均优于先前的符号化与神经网络基线方法。

ABSTRACT

People can learn rich, general-purpose conceptual representations from only raw perceptual inputs. Current machine learning approaches fall well short of these human standards, although different modeling traditions often have complementary strengths. Symbolic models can capture the compositional and causal knowledge that enables flexible generalization, but they struggle to learn from raw inputs, relying on strong abstractions and simplifying assumptions. Neural network models can learn directly from raw data, but they struggle to capture compositional and causal structure and typically must retrain to tackle new tasks. We bring together these two traditions to learn generative models of concepts that capture rich compositional and causal structure, while learning from raw data. We develop a generative neuro-symbolic (GNS) model of handwritten character concepts that uses the control flow of a probabilistic program, coupled with symbolic stroke primitives and a symbolic image renderer, to represent the causal and compositional processes by which characters are formed. The distributions of parts (strokes), and correlations between parts, are modeled with neural network subroutines, allowing the model to learn directly from raw data and express nonparametric statistical relationships. We apply our model to the Omniglot challenge of human-level concept learning, using a background set of alphabets to learn an expressive prior distribution over character drawings. In a subsequent evaluation, our GNS model uses probabilistic inference to learn rich conceptual representations from a single training image that generalize to 4 unique tasks, succeeding where previous work has fallen short.

研究动机与目标

• 通过构建一个能捕捉组合性与因果性结构并从原始感知输入中学习的生成模型，弥合符号化与神经网络建模之间的鸿沟。
• 解决符号化模型在从原始数据中学习方面的局限性，以及神经网络模型在捕捉组合性结构方面的不足。
• 在 Omniglot 基准测试中，仅用一张训练图像即可实现人类水平的 few-shot 概念学习，适用于多种任务。
• 开发一个灵活的框架——生成式神经符号（GNS）——适用于具有不同程度先验知识的多样化领域。

提出的方法

• 该模型将字符表示为定义笔画生成因果性与组合性过程的概率程序。
• 神经网络子程序用于建模笔画及其相关性的分布，从而实现从原始图像数据端到端的学习。
• 符号化图像渲染器将抽象的笔画级表征转换为像素级图像，确保可微性与结构保真度。
• 模型使用贝叶斯推断从单张图像中推断潜在类型与实例变量，从而实现 few-shot 学习。
• 通过拉普拉斯方法估计边际似然，近似后验众数上的积分，提供测试似然的下界。
• 该框架集成了从背景字母集学习到的字符概念非参数先验。

实验结果

研究问题

• RQ1 生成式模型能否结合符号结构与神经学习，实现在概念学习中的类人水平 few-shot 泛化？
• RQ2 神经符号模型在从原始像素数据中学习的同时，能否有效捕捉手写字符中的组合性与因果性结构？
• RQ3 引入可微分符号渲染器是否能提升生成质量与似然度，相较于纯神经网络或符号化模型？
• RQ4 单一概念表征是否能在仅 one-shot 学习后，支持在多种下游任务中灵活推理？

主要发现

• GNS 模型在保留的 Omniglot 图像上实现了每维最佳的边际对数似然（−0.0348），优于 VHE 与 SG 基线。
• GNS 模型生成的样本展现出多样且逼真的风格，其中许多与最近邻训练样本视觉上明显不同，表明其具备有效的泛化能力。
• 该模型仅通过从一张图像中提取的单一概念表征，成功完成了四项不同任务——分类、生成、重构与 few-shot 学习。
• 该模型生成的字符样本具有复杂且非平凡的结构，包括角度与曲线形态，超越了 BPL 模型中假设笔画独立的简化处理。
• 神经子程序的使用使模型能够从原始数据中学习笔画之间丰富的非参数统计关系，克服了先前符号化模型的参数化假设。