[论文解读] Self-Delimiting Neural Networks

Juergen Schmidhuber|arXiv (Cornell University)|Sep 29, 2012

Advanced Memory and Neural Computing被引用 22

一句话总结

本文提出自定界神经网络（SLIM NNs），这是一种新型的循环神经网络，通过权重重构程序并利用专用终止神经元实现自终止。通过仅追踪执行过程中的活跃神经元与连接，SLIM NNs 实现了高效的重置与学习，通过动态参数选择减少过拟合，并通过 AOPS 实现渐近最优学习，从而支持可扩展、任务特定且物理高效的神经计算。

ABSTRACT

Self-delimiting (SLIM) programs are a central concept of theoretical computer science, particularly algorithmic information & probability theory, and asymptotically optimal program search (AOPS). To apply AOPS to (possibly recurrent) neural networks (NNs), I introduce SLIM NNs. Neurons of a typical SLIM NN have threshold activation functions. During a computational episode, activations are spreading from input neurons through the SLIM NN until the computation activates a special halt neuron. Weights of the NN's used connections define its program. Halting programs form a prefix code. The reset of the initial NN state does not cost more than the latest program execution. Since prefixes of SLIM programs influence their suffixes (weight changes occurring early in an episode influence which weights are considered later), SLIM NN learning algorithms (LAs) should execute weight changes online during activation spreading. This can be achieved by applying AOPS to growing SLIM NNs. To efficiently teach a SLIM NN to solve many tasks, such as correctly classifying many different patterns, or solving many different robot control tasks, each connection keeps a list of tasks it is used for. The lists may be efficiently updated during training. To evaluate the overall effect of currently tested weight changes, a SLIM NN LA needs to re-test performance only on the efficiently computable union of tasks potentially affected by the current weight changes. Future SLIM NNs will be implemented on 3-dimensional brain-like multi-processor hardware. Their LAs will minimize task-specific total wire length of used connections, to encourage efficient solutions of subtasks by subsets of neurons that are physically close. The novel class of SLIM NN LAs is currently being probed in ongoing experiments to be reported in separate papers.

研究动机与目标

• 通过引入自定界框架，解决渐近最优程序搜索（AOPS）在循环神经网络（RNNs）中应用不足的问题。
• 通过仅追踪每个计算周期中使用的计算路径，实现大规模稀疏使用神经网络中的高效训练与推理。
• 通过基于任务需求动态选择有效网络规模，提供内置的过拟合预防机制。
• 通过追踪特定任务的权重重用并最小化计算开销，支持通用问题求解器中高效可扩展的学习。
• 通过鼓励子任务的物理局部化子网络，设计一种与未来三维类脑硬件兼容的学习框架。

提出的方法

• 将 SLIM NNs 定义为通用计算机，其中程序编码于权重重矩阵中，计算通过专用终止神经元停止，确保自定界执行。
• 仅追踪计算过程中实际使用的神经元与连接，实现高效的状态重置，并将计算成本限制在神经网络的活跃部分。
• 在终止程序上应用前缀码结构，确保学习与评估过程中仅考虑活跃子网络。
• 对 SLIM RNNs 应用增量式渐近最优程序搜索（AOPS），在激活传播过程中更新权重，以保持与前缀依赖关系的一致性。
• 维护每条连接的任务列表，以追踪每个权重所依赖的任务，从而在局部权重变化后高效重新评估性能。
• 提出一种学习目标，最小化在三维多处理器硬件中活跃连接的任务特定总布线长度，优先选择子任务的物理局部化子网络。

实验结果

研究问题

• RQ1 如何有效将渐近最优程序搜索（AOPS）应用于传统上缺乏自定界程序结构的循环神经网络（RNNs）？
• RQ2 能否通过动态追踪每个计算周期中实际使用的神经元与连接子集，使神经网络推理与学习更加高效？
• RQ3 SLIM NNs 如何自然地缓解过拟合，而无需依赖预设的正则化器或超参数？
• RQ4 在局部权重更新后，SLIM NNs 通过何种机制实现实时性能评估与权重更新？
• RQ5 如何通过最小化三维硬件中的总布线长度，设计未来 SLIM NNs 以优先生成物理局部化、低延迟的解决方案？

主要发现

• SLIM NNs 通过在执行过程中仅追踪活跃神经元与连接，实现高效计算与重置，将开销降至网络中最小必要部分。
• SLIM NNs 的自定界特性确保学习过程中仅考虑已使用的权重，使学习算法可忽略非活跃参数，从而大幅缩小搜索空间。
• 通过在运行时动态选择其有效规模，SLIM NNs 天然避免过拟合，在有益时自动‘瘦身’，仅在需要时扩展。
• 权重更改后的性能评估可限制在受影响任务的并集中，显著加速验证与学习过程。
• 将 AOPS 与 SLIM NNs 集成，实现了在线增量学习，权重更新在激活传播过程中应用，保持与前缀依赖关系的一致性。
• 未来在三维类脑硬件上训练的 SLIM NNs 预计将生成偏好物理局部化子网络的权重重矩阵，以实现总布线长度最小化为目标。