[论文解读] Approximation Bounds for Random Neural Networks and Reservoir Systems

Lukas Gonon, Lyudmila Grigoryeva+1 more|arXiv (Cornell University)|Feb 14, 2020

Neural Networks and Applications被引用 8

一句话总结

该论文首次为内部权重随机生成的回声状态网络（ESNs）建立了严格的近似界，证明其可任意精确地逼近一大类动力系统。通过仅依赖超参数的随机权重采样过程，量化了网络规模与目标系统正则性下的$L^2$-误差，首次从数学上解释了残差计算在实践中取得成功的原因。

ABSTRACT

This work studies approximation based on single-hidden-layer feedforward and recurrent neural networks with randomly generated internal weights. These methods, in which only the last layer of weights and a few hyperparameters are optimized, have been successfully applied in a wide range of static and dynamic learning problems. Despite the popularity of this approach in empirical tasks, important theoretical questions regarding the relation between the unknown function, the weight distribution, and the approximation rate have remained open. In this work it is proved that, as long as the unknown function, functional, or dynamical system is sufficiently regular, it is possible to draw the internal weights of the random (recurrent) neural network from a generic distribution (not depending on the unknown object) and quantify the error in terms of the number of neurons and the hyperparameters. In particular, this proves that echo state networks with randomly generated weights are capable of approximating a wide class of dynamical systems arbitrarily well and thus provides the first mathematical explanation for their empirically observed success at learning dynamical systems.

研究动机与目标

• 解决回声状态网络（ESNs）与随机神经网络在近似复杂动力系统方面缺乏理论依据的问题。
• 弥合具有随机生成内部权重的ESN在实际成功与理论理解之间的差距。
• 在较弱正则性假设下，推导出ESN近似未知输入/输出系统的显式、非渐近误差界。
• 通过随机权重的构造性采样，将近似结果扩展至超越正则性条件的普遍性结果。
• 分析输出反馈对ESN的影响，并为其在学习动力系统中的应用提供理论支持。

提出的方法

• 提出一种构造性采样方法，用于ESN中的储藏器权重A、C和ζ，仅依赖于三个超参数，且与未知目标系统无关。
• 采用基于随机特征的方法近似储藏器映射，将隐藏状态动态视为一种随机非线性变换。
• 应用测度集中与Rademacher复杂度技术，界定真实系统与ESN近似之间的泛化误差。
• 推导出以神经元数量N、系统的正则性以及储藏器矩阵谱半径r表示的显式$L^2$-误差界。
• 引入稳定性条件（回声状态特性），并证明在所提出的采样方案下该条件以高概率成立。
• 将分析扩展至具有输出反馈的ESN（Jordan网络变体），表明在修改后的训练动态下，仍具有类似的近似保证。

实验结果

研究问题

• RQ1 具有随机生成内部权重的回声状态网络能否以任意精度逼近一大类动力系统？若能，其条件是什么？
• RQ2 在随机储藏器网络中，近似误差、神经元数量与目标系统正则性之间的定量关系是什么？
• RQ3 当权重从与目标系统无关的通用分布中采样时，能否以高概率保证回声状态特性？
• RQ4 超参数（如谱半径、神经元数量）如何影响ESN中的近似精度？
• RQ5 该近似框架能否扩展至超越正则性假设的普遍性近似？

主要发现

• 该论文证明，具有随机生成权重的回声状态网络可将任意足够规则的动力系统以$L^2$-误差$O(1/√{N})$的速率逼近，其中N为神经元数量。
• 近似误差显式地以神经元数量、储藏器矩阵的谱半径以及目标系统的正则性为参数进行界定。
• 在所提出的采样方案下，回声状态特性以高概率成立，确保了稳定且唯一的轨迹。
• 误差界仅依赖于超参数与系统的正则性，而不依赖于特定目标函数，从而支持ESN的通用设计。
• 该框架可扩展为普遍性结果：即使在无正则性假设下，随着N增大，ESN仍可对任意可测输入/输出系统实现任意精度的近似。
• 对于具有输出反馈的ESN，只要采用修改后的训练程序，相同的误差界依然成立，支持其在实际应用中的使用。