[论文解读] A Tutorial about Random Neural Networks in Supervised Learning

Sebastián Basterrech, Gerardo Rubino|arXiv (Cornell University)|Sep 15, 2016

Neural Networks and Reservoir Computing参考文献 22被引用 12

一句话总结

本教程将随机神经网络（RNNs）呈现为一种强大的监督学习框架，弥合了排队论与神经网络之间的理论鸿沟。它详细介绍了梯度下降、拟牛顿法以及Levenberg-Marquardt等一阶与二阶优化方法在RNN训练中的应用，展示了其在模式识别、图像处理及组合优化任务中的有效性，并在收敛速度和鲁棒性方面展现出实证优势。

ABSTRACT

Random Neural Networks (RNNs) are a class of Neural Networks (NNs) that can also be seen as a specific type of queuing network. They have been successfully used in several domains during the last 25 years, as queuing networks to analyze the performance of resource sharing in many engineering areas, as learning tools and in combinatorial optimization, where they are seen as neural systems, and also as models of neurological aspects of living beings. In this article we focus on their learning capabilities, and more specifically, we present a practical guide for using the RNN to solve supervised learning problems. We give a general description of these models using almost indistinctly the terminology of Queuing Theory and the neural one. We present the standard learning procedures used by RNNs, adapted from similar well-established improvements in the standard NN field. We describe in particular a set of learning algorithms covering techniques based on the use of first order and, then, of second order derivatives. We also discuss some issues related to these objects and present new perspectives about their use in supervised learning problems. The tutorial describes their most relevant applications, and also provides a large bibliography.

研究动机与目标

• 为应用随机神经网络（RNNs）于监督学习问题提供一份全面且易于理解的教程。
• 弥合RNN建模中排队论与神经网络框架之间的概念鸿沟。
• 提出并比较用于RNN训练的一阶（如梯度下降）与二阶（如拟牛顿法、Levenberg-Marquardt）优化算法。
• 识别RNN训练中的开放研究挑战，特别是关于循环拓扑结构与稳定性问题。
• 鼓励探索RNN学习系统中高级优化技术与替代误差度量方法。

提出的方法

• 将RNN建模为一种PDP（并行分布式处理）系统，其中节点处理正负信号，并通过泊松分布的脉冲到达来更新其状态。
• 将RNN表述为随机排队网络，其中信号到达（兴奋性/抑制性）遵循泊松过程，节点状态以随机方式演化。
• 应用标准的监督学习代价函数，主要采用平方误差和，通过基于梯度的优化方法训练RNN。
• 通过梯度下降及其变体实现一阶优化，特别关注在循环架构中的稳定性和收敛性。
• 将二阶方法（如拟牛顿法与Levenberg-Marquardt）进行适配，以提升RNN训练中的收敛速度与精度。
• 采用统一框架，在神经网络术语与排队论概念之间交替使用，以增强直观理解。

实验结果

研究问题

• RQ1 如何通过标准优化技术有效适应随机神经网络用于监督学习任务？
• RQ2 一阶与二阶优化方法在RNN训练中的相对优势与局限性是什么？
• RQ3 梯度消失或梯度爆炸现象在具有循环拓扑结构的RNN中影响程度如何，与经典神经网络相比有何异同？
• RQ4 是否可通过使用Kullback-Leibler散度等替代误差度量，提升基于RNN的学习系统的分类性能？
• RQ5 在RNN框架内应用高级优化算法（如Hessian-free或基于曲率的方法）可能带来哪些潜在优势？

主要发现

• 在特定代数条件下，RNNs是通用逼近器，能够建模监督学习中复杂的输入-输出关系。
• Levenberg-Marquardt等二阶优化方法在收敛速度方面显著优于梯度下降，尽管可能存在鲁棒性问题。
• 拟牛顿法在速度与稳定性之间提供了良好的权衡，在大多数测试场景中表现出比一阶方法更快的收敛速度。
• RNN模型已被成功应用于求解NP完全问题，如SAT与最小Steiner树问题，展示了其在组合优化中的计算能力。
• 尽管实证性能强劲，RNN文献中仍缺乏对循环RNN中梯度消失/爆炸现象的系统性分析，凸显了关键的研究空白。
• 近期基于GPU并行架构使用梯度下降实现的RNN实现展现出前景，表明在并行环境下应用二阶方法仍是未来研究中开放且具有价值的方向。