[論文レビュー] A Homogeneous Ensemble of Artificial Neural Networks for Time Series Forecasting

Ratnadip Adhikari, R. K. Agrawal|arXiv (Cornell University)|Feb 25, 2013

Stock Market Forecasting Methods参考文献 18被引用数 12

ひとこと要約

本稿では、検証データから得られる性能に基づく重みを用いて、複数の学習アルゴリズムを統合する均質的アンサンブル（homogeneous ensemble）の人工ニューラルネットワーク（ANN）を提案する。多様な学習手法を知的に統合することで、時系列予測において予測精度とロバスト性が著しく向上し、4つのベンチマークデータセットにおいて個々のANNや従来の統計モデルを上回る性能を発揮する。

ABSTRACT

Enhancing the robustness and accuracy of time series forecasting models is an active area of research. Recently, Artificial Neural Networks (ANNs) have found extensive applications in many practical forecasting problems. However, the standard backpropagation ANN training algorithm has some critical issues, e.g. it has a slow convergence rate and often converges to a local minimum, the complex pattern of error surfaces, lack of proper training parameters selection methods, etc. To overcome these drawbacks, various improved training methods have been developed in literature; but, still none of them can be guaranteed as the best for all problems. In this paper, we propose a novel weighted ensemble scheme which intelligently combines multiple training algorithms to increase the ANN forecast accuracies. The weight for each training algorithm is determined from the performance of the corresponding ANN model on the validation dataset. Experimental results on four important time series depicts that our proposed technique reduces the mentioned shortcomings of individual ANN training algorithms to a great extent. Also it achieves significantly better forecast accuracies than two other popular statistical models.

研究の動機と目的

• 標準的な誤差逆伝播法における収束が遅いことや局所最適解に陥りやすいといった限界を是正すること。
• アンサンブル学習を用いて時系列予測の精度とロバスト性を向上させること。
• 検証性能に基づいて異なる学習アルゴリズムに動的に重要度を割り当てる重み付きアンサンブル戦略を開発すること。
• 提案手法を確立された統計モデルおよび個々のANNアプローチと比較して評価すること。
• 多様なデータセットにわたる時系列予測において、均質的アンサンブルが効果的に機能することを示すこと。

提案手法

• 同じANNアーキテクチャを複数用い、異なる最適化アルゴリズムで学習させた均質的アンサンブルを構築する。
• 各学習アルゴリズムに、検証データセットにおける性能に基づいた重みを割り当て、最終的な予測を重み付き平均で算出する。
• Levenberg-Marquardt法やスケーリング共役勾配法などの異なるアルゴリズムで学習された複数のANNの出力を統合することで、分散を低減し、一般化性能を向上させる。
• 各モデルの検証セットにおける平均二乗誤差（MSE）に基づいて重み付けスキームを導出する。性能の良いアルゴリズムに高い重みが割り当てられる。
• 最終的な予測は、個々のモデル予測の重み付き和として計算され、重みは合計が1になるように正規化される。
• 汎用性を確認するため、4つの実世界の時系列データセットを用いて手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる最適化アルゴリズムで学習された均質的アンサンブルのANNは、時系列予測の精度を向上させることができるか？
• RQ2 アンサンブルの性能は、個々のANNモデルや従来の統計モデルと比べてどうか？
• RQ3 検証に基づく重み付け機構は、優れた学習アルゴリズムを的確に選別し、予測精度を向上させることができるか？
• RQ4 誤差逆伝播法における収束が遅いことや局所最適解に陥りやすい問題を、アンサンブルはどの程度緩和できるか？
• RQ5 異なる特徴を持つ多様な時系列データに対して、提案手法はロバスト性を示せるか？

主な発見

• 提案されたアンサンブルは、標準的な誤差逆伝播法学習に内在する収束問題や局所最適解の問題を顕著に軽減した。
• 単一のアルゴリズムで学習された個々のANNモデルよりも、著しく高い予測精度を達成した。
• 4つのテスト時系列データセットすべてにおいて、2つの代表的な統計モデル（例：ARIMAおよび指数平滑法）を上回った。
• 検証に基づく重み付け機構は、優れた性能を示す学習アルゴリズムを的確に優先し、全体の予測信頼性を向上させた。
• 多様な時系列データに対して一貫した改善が見られたため、強い一般化能力を示した。
• 複数の学習アルゴリズムを知的な重み付けで統合することで、よりロバストで正確な予測が得られることを結果が裏付けた。