[论文解读] An Empirical Study of the L2-Boost technique with Echo State Networks

Sebastián Basterrech|arXiv (Cornell University)|Jan 2, 2015

Neural Networks and Reservoir Computing参考文献 32被引用 3

一句话总结

该论文提出了一种自动、计算高效的时序预测集成方法，通过将 $L_2$-Boosting 应用于随机初始化、未经优化的回声状态网络（ESNs）（称为“弱 ESN”）来实现。该方法避免了昂贵的谱半径计算和超参数调优，在五个基准时序预测问题上实现了具有竞争力的性能，并通过内置的过拟合控制参数提升了泛化能力，在多个案例中优于单个 ESN 和简单平均基线方法。

ABSTRACT

A particular case of Recurrent Neural Network (RNN) was introduced at the beginning of the 2000s under the name of Echo State Networks (ESNs). The ESN model overcomes the limitations during the training of the RNNs while introducing no significant disadvantages. Although the model presents some well-identified drawbacks when the parameters are not well initialised. The performance of an ESN is highly dependent on its internal parameters and pattern of connectivity of the hidden-hidden weights Often, the tuning of the network parameters can be hard and can impact in the accuracy of the models. In this work, we investigate the performance of a specific boosting technique (called L2-Boost) with ESNs as single predictors. The L2-Boost technique has been shown to be an effective tool to combine "weak" predictors in regression problems. In this study, we use an ensemble of random initialized ESNs (without control their parameters) as "weak" predictors of the boosting procedure. We evaluate our approach on five well-know time-series benchmark problems. Additionally, we compare this technique with a baseline approach that consists of averaging the prediction of an ensemble of ESNs.

研究动机与目标

• 开发一种无需手动调优网络参数的自动、计算成本低的 ESN 训练方法。
• 评估 $L_2$-Boosting 是否能有效将弱的、随机初始化的 ESN 组合成一个强而准确的集成预测器。
• 在标准时序预测基准上，将所提出的 $L_2$-Boosted ESN 集成方法与平均基线方法和单个 ESN 进行比较。
• 探究 $L_2$-Boosting 框架是否能为基于 ESN 的模型提供内在的过拟合控制和泛化性能提升。

提出的方法

• 该方法使用一组独立且均匀随机初始化的 ESN 作为弱预测器，无需调优谱半径或网络连接性。
• 应用 $L_2$-Boosting，一种基于函数梯度下降的加法建模技术，迭代地将弱 ESN 组合成强回归器。
• 读出层通过线性回归在网络状态上进行训练，并使用 $L_2$-正则化控制过拟合。
• 提升过程通过函数梯度下降在每次迭代中最小化均方误差（MSE）来更新集成模型。
• 最终预测为集成中所有 ESN 输出的加权和，权重在提升过程中学习得到。
• 该方法引入了一个新的超参数用于过拟合控制，源自 $L_2$-Boosting 框架。

实验结果

研究问题

• RQ1 能否通过 $L_2$-Boosting 有效组合弱的、随机初始化的 ESN，形成高性能的时序回归集成模型？
• RQ2 在标准时序预测基准上，$L_2$-Boosted ESN 集成是否优于独立训练的 ESN 的简单平均方法？
• RQ3 在准确性和鲁棒性方面，$L_2$-Boosted ESN 的性能与经过良好调优的单个 ESN 相比如何？
• RQ4 $L_2$-Boosting 框架在多大程度上为 ESN 集成提供了内在的过拟合控制？

主要发现

• $L_2$-Boosted ESN 集成在 10 阶 NARMA 问题上，其归一化均方误差（NMSE）低于平均基线方法，尤其在 8 和 10 个神经元的网络规模下表现更优。
• 在 30 阶 NARMA 问题上，$L_2$-Boosting 在 M=6、8 和 10 个训练周期下，其 NMSE 在所有测试的网络规模下均低于平均基线方法。
• 在 Santa Fe Laser 数据集中，$L_2$-Boosting 在 M=4、6 和 8 时，测试集准确率优于平均基线方法，尤其在较大网络规模下表现更佳。
• 该方法在 Henon 映射和 Freedman 数据集上持续优于平均基线方法，且在多个网络规模下，$L_2$-Boosted 模型的 NMSE 值均低于 0.131。
• 该方法消除了谱半径计算的需要，与标准 ESN 训练相比显著降低了计算成本。
• $L_2$-Boosting 框架提供了内置的过拟合控制参数，增强了泛化能力，且无需额外调优。