[论文解读] Feynman Machine: The Universal Dynamical Systems Computer

Eric Laukien, Richard Crowder+1 more|arXiv (Cornell University)|Sep 13, 2016

Chaos-based Image/Signal Encryption参考文献 21被引用 4

一句话总结

该论文提出了费曼机器（Feynman Machine），一种受神经科学和动力系统理论启发的通用计算模型，用于模拟动力系统。该模型采用分层的预测编码-解码模块结构，通过自适应的、局部连接的学习机制，实现对时空动态的预测，从而在减少数据和计算需求的前提下，实现高效、鲁棒且可扩展的机器智能。

ABSTRACT

Efforts at understanding the computational processes in the brain have met with limited success, despite their importance and potential uses in building intelligent machines. We propose a simple new model which draws on recent findings in Neuroscience and the Applied Mathematics of interacting Dynamical Systems. The Feynman Machine is a Universal Computer for Dynamical Systems, analogous to the Turing Machine for symbolic computing, but with several important differences. We demonstrate that networks and hierarchies of simple interacting Dynamical Systems, each adaptively learning to forecast its evolution, are capable of automatically building sensorimotor models of the external and internal world. We identify such networks in mammalian neocortex, and show how existing theories of cortical computation combine with our model to explain the power and flexibility of mammalian intelligence. These findings lead directly to new architectures for machine intelligence. A suite of software implementations has been built based on these principles, and applied to a number of spatiotemporal learning tasks.

研究动机与目标

• 为解决当前深度学习的局限性，提出一种基于神经科学和动力系统理论的新型计算模型。
• 通过将新皮层建模为相互作用的动力系统集合，弥合生物神经计算与人工智能之间的鸿沟。
• 开发一种机器学习架构，实现在极小数据量、计算成本和超参数调优需求下仍具备高性能。
• 通过模块化、分布式学习，实现从低功耗边缘设备到云集群的无缝集成。
• 通过动态子网络路由机制，将监督学习、无监督学习、半监督学习和强化学习统一于同一架构之下。

提出的方法

• 费曼机器采用分层网络结构，由成对的预测编码器与生成解码器模块组成，用于预测动力系统演化的规律。
• 每个编码器采用基于局部抑制机制的局部稀疏二值激活机制，并结合原始输入与衰减移动平均的输入核。
• 编码器的刺激通过局部感受野内的加权和计算得出，权重通过一种类似脉冲时间依赖可塑性（STDP）的形式进行更新。
• 解码器以反向方式运行，利用调制反馈从高层预测中重建输入，其中编码器的隐藏状态调制解码过程。
• 学习通过一种生物上合理的更新规则实现：编码器权重根据预测误差和隐藏状态活动进行调整，偏置则根据目标稀疏性进行调整。
• 该架构通过路由预测分层结构支持动态路由，根据时空上下文切换子网络，从而实现对传统深度网络的直接控制。

实验结果

研究问题

• RQ1 一个由相互作用的动力系统构成的分层系统，每个系统均能预测自身的演化，是否可构成动力系统的通用计算机？
• RQ2 如何在神经架构中实现塔肯斯定理（Takens’ theorem）关于时间延迟嵌入的原理，以实现对复杂动力学的精确建模？
• RQ3 一种受生物启发、局部连接的稀疏自适应网络在多大程度上能复现新皮层的感知运动建模能力？
• RQ4 此类系统是否能在显著减少数据量、计算成本和超参数调优需求的前提下，达到与深度学习相当的性能？
• RQ5 同一架构如何在单一框架内支持多种学习范式——监督学习、无监督学习、半监督学习和强化学习？

主要发现

• 费曼机器在大幅降低计算资源占用、训练数据需求和超参数调优需求的同时，实现了与深度学习模型相当的性能。
• 该架构可通过基于云的模块对边缘设备实现动态、低带宽的增强，支持在低功耗硬件上实现实时自适应。
• 采用局部连接、稀疏且自适应的学习机制，使系统能够通过分层预测构建对外部与内部世界的精确感知运动模型。
• 路由预测分层结构可通过切换至上下文相关的子网络，实现对传统深度网络的直接控制，从而提升泛化能力与适应性。
• 该系统的调制预测网络通过编码器状态引入非线性激活，简化了信用分配问题，并避免了梯度消失问题。
• 软件实现表明，该系统在多种时空学习任务中表现良好，验证了理论框架与架构原理的有效性。