[论文解读] A Homogeneous Ensemble of Artificial Neural Networks for Time Series Forecasting

Ratnadip Adhikari, R. K. Agrawal|arXiv (Cornell University)|Feb 25, 2013

Stock Market Forecasting Methods参考文献 18被引用 12

一句话总结

本文提出一种同质人工神经网络（ANN）集成方法，通过基于验证数据的性能权重组合多种训练算法。通过智能聚合多样化的训练方法，该方法在时间序列预测中显著提升了准确性和鲁棒性，在四个基准数据集上优于单个ANN和传统统计模型。

ABSTRACT

Enhancing the robustness and accuracy of time series forecasting models is an active area of research. Recently, Artificial Neural Networks (ANNs) have found extensive applications in many practical forecasting problems. However, the standard backpropagation ANN training algorithm has some critical issues, e.g. it has a slow convergence rate and often converges to a local minimum, the complex pattern of error surfaces, lack of proper training parameters selection methods, etc. To overcome these drawbacks, various improved training methods have been developed in literature; but, still none of them can be guaranteed as the best for all problems. In this paper, we propose a novel weighted ensemble scheme which intelligently combines multiple training algorithms to increase the ANN forecast accuracies. The weight for each training algorithm is determined from the performance of the corresponding ANN model on the validation dataset. Experimental results on four important time series depicts that our proposed technique reduces the mentioned shortcomings of individual ANN training algorithms to a great extent. Also it achieves significantly better forecast accuracies than two other popular statistical models.

研究动机与目标

• 为解决标准反向传播在ANN中的局限性，如收敛速度慢和陷入局部极小值的问题。
• 通过集成学习提升时间序列预测的准确性和鲁棒性。
• 开发一种加权集成策略，根据验证性能动态分配不同训练算法的重要性。
• 将所提方法与已建立的统计模型和单个ANN方法进行对比评估。
• 证明同质集成在不同数据集上提升时间序列预测性能的有效性。

提出的方法

• 使用相同ANN架构的多个实例，采用不同的优化算法进行训练，构建同质集成。
• 基于验证数据集上的表现为每种训练算法分配权重，最终预测采用加权平均。
• 通过组合使用不同算法（如Levenberg-Marquardt、缩放共轭梯度）训练的多个ANN的输出，降低方差并提升泛化能力。
• 权重方案基于各模型在验证集上的均方误差（MSE）计算，优先选择表现更优的算法。
• 最终预测通过将各模型预测结果按加权和计算得出，权重归一化使其总和为1。
• 在四个真实世界的时间序列数据集上评估该方法，以确保其泛化能力。

实验结果

研究问题

• RQ1 使用不同优化算法训练的同质ANN集成能否提升时间序列预测的准确性？
• RQ2 该集成方法与单个ANN模型及传统统计模型相比表现如何？
• RQ3 基于验证的加权机制是否能有效选择性能更优的训练算法以提升预测效果？
• RQ4 该集成在多大程度上缓解了反向传播中收敛速度慢和陷入局部极小值的问题？
• RQ5 所提出的集成方法在具有不同特征的多样化时间序列上是否具有鲁棒性？

主要发现

• 所提集成方法显著减少了标准反向传播训练中固有的收敛问题和局部极小值问题。
• 与仅使用单一算法训练的单个ANN模型相比，该集成实现了显著更高的预测准确性。
• 在所有四个测试的时间序列数据集上，该集成均优于两种流行的统计模型（如ARIMA和指数平滑）。
• 基于验证的加权机制有效优先选择了高性能的训练算法，提升了整体预测的可靠性。
• 该方法在多样化时间序列上表现出一致的性能提升，表明其具备强大的泛化能力。
• 结果证实，通过智能加权组合多种训练算法，可获得更鲁棒、更准确的预测结果。