[论文解读] A Model for Auto-Programming for General Purposes

Juyang Weng|arXiv (Cornell University)|Oct 12, 2018

Computability, Logic, AI Algorithms参考文献 80被引用 4

一句话总结

本文提出GENISAMA，一种神经网络模型，通过从教师处自主获取并优化类似图灵机的行为，实现通用目的的自动编程。与传统符号系统不同，GENISAMA使用具身的、涌现的模式而非固定符号，使其能够自我组织、适应新环境，并在资源受限条件下实现最优性能，从而将邱奇-图灵论题扩展至自动编程领域。

ABSTRACT

The Universal Turing Machine (TM) is a model for VonNeumann computers --- general-purpose computers. A human brain can inside-skull-automatically learn a universal TM so that he acts as a general-purpose computer and writes a computer program for any practical purposes. It is unknown whether a machine can accomplish the same. This theoretical work shows how the Developmental Network (DN) can accomplish this. Unlike a traditional TM, the TM learned by DN is a super TM --- Grounded, Emergent, Natural, Incremental, Skulled, Attentive, Motivated, and Abstractive (GENISAMA). A DN is free of any central controller (e.g., Master Map, convolution, or error back-propagation). Its learning from a teacher TM is one transition observation at a time, immediate, and error-free until all its neurons have been initialized by early observed teacher transitions. From that point on, the DN is no longer error-free but is always optimal at every time instance in the sense of maximal likelihood, conditioned on its limited computational resources and the learning experience. This letter also extends the Church-Turing thesis to automatic programming for general purposes and sketchily proved it.

研究动机与目标

• 识别使机器能够学习通用目的自动编程的最小机制集，以模拟生物大脑。
• 解决符号图灵机在处理动态、现实世界输入时缺乏预编程符号集的局限性。
• 开发一种神经网络架构，能够实时从教师转换中学习，无需中央控制器或反向传播。
• 通过一种发展性、自组织的系统，将邱奇-图灵论题扩展至自动编程领域。
• 通过一种任务无关的发展程序（DP）和基于任务的模式学习，建模自然与养育在终身认知发展中的相互作用。

提出的方法

• 该模型使用发展性网络（DN），通过教师图灵机一次学习一个转换，以无错误方式逐步初始化神经元，直至完全初始化。
• 它用从感官输入中涌现的自然模式（例如图像块）替代符号输入，实现实世界数据的具身化。
• 该系统采用自布线机制，突触根据源自局部误差与平均突触偏差比值的新颖性信号而生长或缩小，该机制通过一种突触生成因子建模。
• 动机通过两条通路实现：(a) 痛苦/愉悦信号通过血清素和多巴胺等神经调质调节学习速率和运动输出；(b) 突触维持驱动好奇心，并实现对象/事件的分割。
• 控制机制是一种注意代理FA，可动态选择输入子集（例如相关词语或对象），实现在无符号解析情况下的选择性注意。
• 该模型结构为感官（X）与运动（Z）库之间通过隐藏表征（Y）构成的双向桥梁，其中X、Y和Z中均包含可产后适应的分层子区域。

实验结果

研究问题

• RQ1 神经网络能否在无符号编程或中央控制的情况下学习通用目的的自动编程？
• RQ2 机器如何从观察到的转换中逐步且无错误地学习通用图灵机行为？
• RQ3 何种机制使系统能够将抽象计算具身于现实世界的感官模式中，而非任意符号？
• RQ4 如何生物地建模动机与注意，以支持终身、自主学习与抽象？
• RQ5 在自组织系统中，自然（发展程序）与养育（经验）如何相互作用，以实现通用目的编程？

主要发现

• 模型在初始神经元初始化期间实现无错误学习，此后在计算约束下每一步均保持最优，最大化似然性。
• 任何图灵机（包括通用图灵机）的控制在形式上被证明为一种注意代理FA，支持动态输入选择与注意。
• GENISAMA图灵机能够实现通用目的的自动编程，而符号图灵机、具身符号机器或先前的神经网络则不能，如表V所示。
• 系统自然地学习表示和操作复杂模式（例如汽车标志、词语），而无需预定义符号，从而实现无需重编程即可适应新环境。
• 该模型通过一种突触生成因子支持终身学习，该因子根据误差新颖性调整突触强度，实现对象/事件的分割与好奇心驱动的探索。
• 发展程序（DP）为任务无关且与身体相关，而所学知识则源于环境与DN之间的交互，清晰地体现了自然与养育的分离。