[论文解读] Learning like humans with Deep Symbolic Networks

Qunzhi Zhang, Didier Sornette|arXiv (Cornell University)|Jul 11, 2017

Neural Networks and Applications参考文献 6被引用 6

一句话总结

本文提出深度符号网络（DSN），一种深度神经网络的白盒替代方案，将世界建模为分层符号结构，通过奇点和粗粒化从数据中学习类人符号与关系。该模型支持小样本学习、透明化、因果推理与可泛化学习，具备无监督学习与知识累积能力。

ABSTRACT

We introduce the Deep Symbolic Network (DSN) model, which aims at becoming the white-box version of Deep Neural Networks (DNN). The DSN model provides a simple, universal yet powerful structure, similar to DNN, to represent any knowledge of the world, which is transparent to humans. The conjecture behind the DSN model is that any type of real world objects sharing enough common features are mapped into human brains as a symbol. Those symbols are connected by links, representing the composition, correlation, causality, or other relationships between them, forming a deep, hierarchical symbolic network structure. Powered by such a structure, the DSN model is expected to learn like humans, because of its unique characteristics. First, it is universal, using the same structure to store any knowledge. Second, it can learn symbols from the world and construct the deep symbolic networks automatically, by utilizing the fact that real world objects have been naturally separated by singularities. Third, it is symbolic, with the capacity of performing causal deduction and generalization. Fourth, the symbols and the links between them are transparent to us, and thus we will know what it has learned or not - which is the key for the security of an AI system. Fifth, its transparency enables it to learn with relatively small data. Sixth, its knowledge can be accumulated. Last but not least, it is more friendly to unsupervised learning than DNN. We present the details of the model, the algorithm powering its automatic learning ability, and describe its usefulness in different use cases. The purpose of this paper is to generate broad interest to develop it within an open source project centered on the Deep Symbolic Network (DSN) model towards the development of general AI.

研究动机与目标

• 为解决深度神经网络（DNNs）的黑箱特性，提出一种可解释且透明的白盒替代方案。
• 通过将物质粗粒化形成的知识结构，以分层符号结构表示类人符号认知。
• 通过通用、透明且可学习的符号架构，实现通用人工智能，支持因果推理、泛化与知识累积。
• 开发一种天然适合无监督学习的学习框架，仅需极少标注数据。
• 通过DSN框架推动开源倡议，促进通用人工智能的发展。

提出的方法

• DSN模型将知识表示为递归的分层符号网络，其中每个符号 $ f_{n,i}(x) $ 表示第 $ n $ 层、索引为 $ i $ 的粗粒化物理对象，定义域为 $ x $。
• 通过数据中的奇点识别符号，自然分离不同对象，形成无需预先标注的符号字典。
• 模型使用生成函数（公式2）将对象表示为基函数的加权和，包含学习参数与噪声项。
• 无监督学习通过优化阈值 $ λ_i $ 和 $ μ_i $ 实现，以从数据中识别符号，结合噪声感知聚类与边缘模糊化提升鲁棒性。
• 监督学习通过优化目标函数或直接使用文献[7]中的方法学习生成模型实现。
• 符号链接表示组成、因果、继承与抽象等关系，构成结构化、可解释的知识图谱。

实验结果

研究问题

• RQ1 能否仅通过奇点自然分离对象，从原始数据构建深度分层符号网络？
• RQ2 此类网络在保持透明可解释性的同时，能否实现类人学习，包括泛化与因果推理？
• RQ3 与标准DNNs相比，DSN模型在小样本或无标签数据集上学习效率如何？
• RQ4 是否存在稳定的参数区间（阈值 $ λ_i $, $ μ_i $），使符号数量对超参数微小变化保持鲁棒？
• RQ5 DSN模型能否在任务间累积知识，并通过显式符号表示支持贝叶斯决策？

主要发现

• DSN模型通过奇点与噪声感知聚类，成功在MNIST手写数字数据中无监督识别出基本视觉构建单元（如直线、曲线、圆形）。
• 模型在一系列阈值 $ λ_i $ 与 $ μ_i $ 下表现出稳定的符号检测，表明对超参数调优具有鲁棒性。
• 对基于边缘的符号（如将圆形模糊为圆环）进行模糊处理可提升噪声环境下的匹配准确率，表明对不完美数据具有有效处理能力。
• DSN框架支持无监督符号发现，并可通过优化阈值或直接学习生成函数扩展至监督学习。
• 模型的透明性允许对学习到的符号与链接进行全面检查，支持知识与推理过程的验证。
• DSN模型天然适合因果推断与知识累积，因符号及其关系被显式存储且可解释。