[论文解读] Generating new concepts with hybrid neuro-symbolic models

Reuben Feinman, Brenden M. Lake|arXiv (Cornell University)|Mar 19, 2020

Language and cultural evolution参考文献 28被引用 5

一句话总结

该论文提出了一种混合神经符号模型，通过将神经网络与符号概率程序相结合，生成新颖且结构一致的手写字符。通过整合组合性与因果知识以及统计模式识别，该模型在泛化能力方面优于纯神经网络，生成的字符更具多样性且更接近人类书写风格，同时保持感知一致性。

ABSTRACT

Human conceptual knowledge supports the ability to generate novel yet highly structured concepts, and the form of this conceptual knowledge is of great interest to cognitive scientists. One tradition has emphasized structured knowledge, viewing concepts as embedded in intuitive theories or organized in complex symbolic knowledge structures. A second tradition has emphasized statistical knowledge, viewing conceptual knowledge as an emerging from the rich correlational structure captured by training neural networks and other statistical models. In this paper, we explore a synthesis of these two traditions through a novel neuro-symbolic model for generating new concepts. Using simple visual concepts as a testbed, we bring together neural networks and symbolic probabilistic programs to learn a generative model of novel handwritten characters. Two alternative models are explored with more generic neural network architectures. We compare each of these three models for their likelihoods on held-out character classes and for the quality of their productions, finding that our hybrid model learns the most convincing representation and generalizes further from the training observations.

研究动机与目标

• 开发一种生成模型，以同时捕捉人类概念知识中的组合结构与统计相关性。
• 解决纯符号模型（假设僵化）与纯神经网络模型（泛化能力差）在概念生成中的局限性。
• 探索混合神经符号系统如何支持对新颖但结构化的概念进行创造性、灵活的泛化。
• 评估此类模型是否能够生成超越记忆的新型字符，并保持结构一致性。

提出的方法

• 该模型使用符号概率程序定义手写字符的组合与因果结构，例如笔画顺序和部件复用性。
• 通过神经网络建模视觉特征的统计分布以及笔画形状与风格的变化。
• 采用可微分推理引擎，通过将符号程序执行与神经组件的基于梯度的优化相结合，实现端到端训练。
• 模型采用具有温度参数的混合密度网络，以控制随机性，生成多样但一致的字符样本。
• 使用在Omniglot数据集上微调的卷积神经网络的最后隐藏层中的余弦距离来度量感知相似性。
• 将样本组织成拓扑网格，以可视化生成字符在风格多样性与结构一致性方面的表现。

实验结果

研究问题

• RQ1 神经符号模型能否生成既结构一致又视觉多样的新颖手写字符？
• RQ2 与纯神经网络相比，符号组合结构的引入在多大程度上提升了对训练数据之外样本的泛化能力？
• RQ3 生成的字符在多大程度上类似于未见过的新训练样本，而非直接记忆？
• RQ4 该模型在概念生成中能否良好平衡统计模式学习与符号归纳偏置？
• RQ5 模型能否生成在感知上与最近邻训练样本明显不同的字符，从而表明真正的泛化？

主要发现

• 混合神经符号模型在保留的字符类别上取得了最高的对数似然值，尤其当测试样本与训练数据显著偏离时表现更优。
• 完整神经符号（Full NS）模型生成的9个样本中有3个在视觉上与最近邻的Omniglot训练样本不同，表明其泛化能力强于LSTM基线模型。
• 100个样本的拓扑组织显示了多种截然不同的视觉风格，包括锐角型、线条型和曲线型，表明其具有丰富的多样性。
• 该模型生成的字符在多个笔画间保持了稳定的一致性与结构协调性，例如形成了类似盲文的字符。
• 视觉图灵测试与感知相似性分析表明，该模型的输出更具原创性，且模仿性低于纯神经网络模型。
• 将符号结构与神经模式学习相结合，使模型能够更好地捕捉非参数相关性，同时保留了组合泛化的归纳偏置。