[论文解读] Deep Stochastic Configuration Networks with Universal Approximation Property

Dianhui Wang, Ming Li|arXiv (Cornell University)|Feb 18, 2017

Machine Learning and ELM参考文献 26被引用 7

一句话总结

本文提出深度随机配置网络（Deep Stochastic Configuration Networks, DeepSCNs），一种随机化深度学习框架，通过从所有隐藏层到输出层的直接跳跃连接，逐步构建深度网络结构。通过使用监督机制约束随机权重和偏置的分配，并利用最小二乘法求解读出权重，DeepSCNs 实现了通用逼近能力，支持快速、数据相关的表征学习，且人工干预极少。

ABSTRACT

This paper develops a randomized approach for incrementally building deep neural networks, where a supervisory mechanism is proposed to constrain the random assignment of the weights and biases, and all the hidden layers have direct links to the output layer. A fundamental result on the universal approximation property is established for such a class of randomized leaner models, namely deep stochastic configuration networks (DeepSCNs). A learning algorithm is presented to implement DeepSCNs with either specific architecture or self-organization. The read-out weights attached with all direct links from each hidden layer to the output layer are evaluated by the least squares method. Given a set of training examples, DeepSCNs can speedily produce a learning representation, that is, a collection of random basis functions with the cascaded inputs together with the read-out weights. An empirical study on a function approximation is carried out to demonstrate some properties of the proposed deep learner model.

研究动机与目标

• 解决传统深度神经网络架构设计中依赖人工调参、计算成本高且易过拟合的挑战。
• 开发一种快速、可扩展的深度学习框架，最大限度减少网络构建过程中的人员干预。
• 为具有直接跳跃连接的深度随机化网络建立通用逼近的理论基础。
• 通过基于随机基函数的增量式、构造性学习，实现高效、数据相关的特征表征。
• 提供一种支持后处理以去除冗余和实现稀疏化的框架，提升模型效率与可解释性。

提出的方法

• 通过逐层增加隐藏层的方式，增量式构建 DeepSCNs，从最简网络开始。
• 在监督机制约束下随机分配隐藏层权重与偏置，该机制通过施加不等式约束以确保模型容量。
• 将每一层隐藏层直接连接到输出层，实现逐层逼近并灵活利用特征。
• 通过在训练数据上进行最小二乘回归计算读出权重，确保随机基函数的最优线性组合。
• 将前一层的残差误差作为下一层的新目标函数，实现分层逼近。
• 自适应地在每一层更新随机参数的范围，以丰富基函数集合，提升表征能力。

实验结果

研究问题

• RQ1 具有直接跳跃连接的深度随机化神经网络能否实现通用逼近？
• RQ2 对随机参数施加的监督机制如何影响 DeepSCNs 的表征能力与泛化性能？
• RQ3 与标准 DNN 相比，基于最小二乘读出的增量式、构造性学习过程在多大程度上提升了训练速度与模型准确率？
• RQ4 DeepSCNs 在函数逼近及真实任务（如数字旋转校正）中是否优于浅层随机配置网络（SCNs）？
• RQ5 网络深度与直接连接对数据相关随机基函数质量有何影响？

主要发现

• DeepSCNs 实现了通用逼近性质，证明其可对任意连续函数以任意精度进行逼近。
• 所提出的监督机制确保了随机参数以维持模型容量的方式分配，避免了不良初始化。
• 在数字旋转校正任务中，DeepSCNs 显著优于浅层 SCNs，预测错误更少，角度估计更鲁棒，尤其在数字 '1'、'2'、'5'、'7' 和 '8' 上表现更优。
• 与 SCN 相比，该模型预测更准确、更稳定，误差更集中于 [-60, 60] 度范围内，表明泛化能力更强。
• 该框架支持快速学习且人工干预极少，因其架构为数据相关，并基于误差容忍度逐层构建。
• 后处理可实现冗余去除，支持稀疏且高效的表征，同时不损失逼近精度。