[论文解读] A Theory of Natural Intelligence

Christoph von der Malsburg, Thilo Stadelmann+1 more|arXiv (Cornell University)|Apr 22, 2022

Neural Networks and Applications被引用 4

一句话总结

本文提出，自然智能源于大脑中结构规律性的产生，这种规律性以自组织网络片段的形式编码——即通过网络自组织形成的稳定、可重复的网络模式。这些片段作为强大的归纳偏置，通过同胚映射在抽象目标与具体感官-运动体验之间建立联系，从而实现快速学习、泛化和自主行为。

ABSTRACT

Introduction: In contrast to current AI technology, natural intelligence -- the kind of autonomous intelligence that is realized in the brains of animals and humans to attain in their natural environment goals defined by a repertoire of innate behavioral schemata -- is far superior in terms of learning speed, generalization capabilities, autonomy and creativity. How are these strengths, by what means are ideas and imagination produced in natural neural networks? Methods: Reviewing the literature, we put forward the argument that both our natural environment and the brain are of low complexity, that is, require for their generation very little information and are consequently both highly structured. We further argue that the structures of brain and natural environment are closely related. Results: We propose that the structural regularity of the brain takes the form of net fragments (self-organized network patterns) and that these serve as the powerful inductive bias that enables the brain to learn quickly, generalize from few examples and bridge the gap between abstractly defined general goals and concrete situations. Conclusions: Our results have important bearings on open problems in artificial neural network research.

研究动机与目标

• 解释自然智能相较于当前人工智能系统为何具备更快速的学习速度、更强的泛化能力以及更高的自主性。
• 识别出缺失的机制——神经网络中的结构规律性——该机制使学习效率超越基因或经验单独所能提供的水平。
• 提出网络片段（由网络自组织形成）作为智能行为核心归纳偏置的机制。
• 通过同胚映射弥合先天行为图式与具体感知经验之间的抽象鸿沟。
• 通过模拟大脑的结构规律性，为人工系统提供一个统一的自主、目标导向学习框架。

提出的方法

• 将网络自组织视为大脑连接性的柯尔莫哥洛夫算法，以最小化生成复杂神经结构所需的信息量。
• 引入“网络片段”——自组织形成的、可重复的网络模式，用于编码结构规律性并作为归纳偏置。
• 利用同胚映射，通过共享的结构模式将抽象的行为图式与具体的场景表征联系起来。
• 将场景表征建模为网络片段的组合，以捕捉环境中的关键关系与空间结构。
• 应用低柯尔莫哥洛夫复杂度的概念，论证大脑连接性仅需极少的算法信息，暗示其具有高度的结构规律性。
• 提出元学习可识别合适的抽象层次，通过网络片段的组合将经验固化为记忆。

实验结果

研究问题

• RQ1 在基因和经验的信息含量均较低的前提下，自然智能如何实现以极少数据为基础的快速、可泛化学习？
• RQ2 大脑中何种结构机制使先天行为图式能够过渡为灵活、情境敏感的行为？
• RQ3 在不依赖外部编程或量子效应的前提下，思想与想象力如何从神经网络动力学中产生？
• RQ4 作为网络片段编码的结构规律性，在实现高效学习的归纳偏置中发挥何种作用？
• RQ5 人工系统如何通过模仿大脑的结构自组织机制，实现自主性与常识推理？

主要发现

• 人类大脑连接性（需一拍字节描述）由复杂度远低的柯尔莫哥洛夫算法生成，暗示其具有极端的结构规律性。
• 网络片段——自组织形成的、可重复的网络模式——作为特定领域的归纳偏置，可实现快速学习与泛化。
• 视网膜映射的个体发育过程是网络自组织作为生成结构规律性机制的范例，仅需极少信息。
• 大脑中的结构规律性使其能从少量样本中学习，并泛化至未见数据，从而克服当前人工智能系统的局限。
• 行为图式与场景表征之间的同胚映射，使大脑能够将抽象目标与具体的感官-运动体验相联系。
• 人类智能相较于动物智能的优越性，归因于在先天的、基于网络片段的神经结构上，嫁接了丰富且文化积累的行为图式。