[論文レビュー] An Empirical Study of the L2-Boost technique with Echo State Networks

Sebastián Basterrech|arXiv (Cornell University)|Jan 2, 2015

Neural Networks and Reservoir Computing参考文献 32被引用数 3

ひとこと要約

本論文は、$L_2$-Boostingをランダムに初期化された最適化されていないエコー状態ネットワーク（ESN）（「弱いESN」として呼ばれる）に適用することにより、時間系列予測のための自動的かつ計算的に効率的なアンサンブル手法を提案する。この手法は、高価な固有値半径の計算やハイパーパrameterチューニングを回避し、5つのベンチマーク時間系列問題において競争力ある性能を達成しており、組み込みの過学習制御パラメータのおかげで一般化性能が向上し、いくつかのケースで単一のESNや単純な平均化ベースラインを上回っている。

ABSTRACT

A particular case of Recurrent Neural Network (RNN) was introduced at the beginning of the 2000s under the name of Echo State Networks (ESNs). The ESN model overcomes the limitations during the training of the RNNs while introducing no significant disadvantages. Although the model presents some well-identified drawbacks when the parameters are not well initialised. The performance of an ESN is highly dependent on its internal parameters and pattern of connectivity of the hidden-hidden weights Often, the tuning of the network parameters can be hard and can impact in the accuracy of the models. In this work, we investigate the performance of a specific boosting technique (called L2-Boost) with ESNs as single predictors. The L2-Boost technique has been shown to be an effective tool to combine "weak" predictors in regression problems. In this study, we use an ensemble of random initialized ESNs (without control their parameters) as "weak" predictors of the boosting procedure. We evaluate our approach on five well-know time-series benchmark problems. Additionally, we compare this technique with a baseline approach that consists of averaging the prediction of an ensemble of ESNs.

研究の動機と目的

• ESNのトレーニングに手動でのリザボアパラメータチューニングを必要とせず、自動的かつ計算コストが低い手法を開発すること。
• $L_2$-Boostingが、弱くランダムに初期化されたESNを効果的に統合して強力で正確なアンサンブル予測器を形成できるかどうかを評価すること。
• 標準的な時間系列ベンチマーク上で、提案された$L_2$-Boosted ESNアンサンブルと平均化ベースライン、および単一のESNを比較すること。
• $L_2$-Boostingフレームワークが、ESNベースのモデルにおいて内在的な過学習制御と一般化性能の向上を提供するかどうかを調査すること。

提案手法

• 本手法は、固有値半径やリザボア接続性のチューニングを一切行わない、独立かつ一様にランダムに初期化されたESNの集合を弱い予測器として用いる。
• $L_2$-Boosting（関数的勾配降下に基づく加法的モデリング手法）を用いて、反復的に弱いESNを統合して強力な回帰器を構築する。
• リードアウト層は、リザボア状態上で線形回帰を用いて訓練され、過学習制御のための$L_2$正則化が適用される。
• ブースティングプロセスは、各反復で平均二乗誤差（MSE）を最小化するために関数的勾配降下を用いてアンサンブルを更新する。
• 最終的な予測は、ブースティング中に学習された重みを用いて、アンサンブルに含まれるすべてのESNの出力の重み付き和で得られる。
• 本手法は、$L_2$-Boostingフレームワークから導かれる過学習制御のための新しいハイパーパrameterを1つ導入する。

実験結果

リサーチクエスチョン

• RQ1 $L_2$-Boostingは、弱くランダムに初期化されたESNを、時間系列回帰のための高性能なアンサンブルに効果的に統合できるか？
• RQ2 $L_2$-Boosted ESNアンサンブルは、独立してトレーニングされたESNの単純な平均化よりも、標準的な時間系列ベンチマークで優れた性能を示すか？
• RQ3 $L_2$-Boosted ESNの性能は、精度と頑健性の観点から、適切にチューニングされた単一のESNと比べてどうか？
• RQ4 $L_2$-Boostingフレームワークは、ESNアンサンブルにおいてどの程度の内在的な過学習制御を提供するか？

主な発見

• $L_2$-Boosted ESNアンサンブルは、10次NARMA問題において、平均二乗誤差（NMSE）が平均化ベースラインを下回っており、特にリザボアサイズが8および10ニューロンのとき顕著であった。
• 30次NARMA問題では、M=6、8、10エポックの$L_2$-Boostingが、すべてのテストされたリザボアサイズで平均化ベースラインを下回るNMSEを達成した。
• Santa Fe Laserデータセットでは、M=4、6、8の$L_2$-Boostingがテストセットの精度で平均化ベースラインを上回り、特に大きなリザボアサイズで顕著であった。
• Henon MapおよびFreedmanデータセットでは、$L_2$-Boostedモデルが平均化ベースラインよりも一貫した性能向上を示し、複数のリザボアサイズでNMSEが0.131未満であった。
• 本手法は、固有値半径の計算を完全に排除し、従来のESNトレーニングと比較して計算コストを顕著に削減した。
• $L_2$-Boostingフレームワークは、追加のチューニングを要せず、一般化性能を向上させる組み込みの過学習制御パラメータを提供した。