[論文レビュー] Scenario optimization for optimal training of Echo State Networks

Luca Bugliari Armenio, Lorenzo Fagiano+3 more|arXiv (Cornell University)|Dec 3, 2019

Neural Networks and Reservoir Computing参考文献 20被引用数 4

ひとこと要約

本稿では、従来のランダムなパrameter選択を置き換える体系的で最適性保証付きの手法を用いて、エコー状態ネットワーク（ESN）のトレーニングを提案する。ESNトレーニングを有限サンプル最適化問題として扱うことで、RMSE や FIT といったパフォーマンス指標の確率的境界を保証する。pH中和プロセスの実験的評価では、500件の新しいシナリオについて理論的境界値の5%未満で違反が観測された。

ABSTRACT

Echo State Networks (ESNs) are widely-used Recurrent Neural Networks. They are dynamical systems including, in state-space form, a nonlinear state equation and a linear output transformation. The common procedure to train ESNs is to randomly select the parameters of the state equation, and then to estimate those of the output equation via a standard least squares problem. Such a procedure is repeated for different instances of the random parameters characterizing the state equation, until satisfactory results are achieved. However, this trial-and-error procedure is not systematic and does not provide any guarantee about the optimality of the identification results. To solve this problem, we propose to complement the identification procedure of ESNs by applying results in scenario optimization. The resulting training procedure is theoretically sound and allows one to link precisely the number of identification instances to a guaranteed optimality bound on relevant performance indexes, such as the Root Mean Square error and the FIT index of the estimated model evaluated over a validation data-set. The proposed procedure is finally applied to the simulated model of a pH neutralization process: the obtained results confirm the validity of the approach.

研究の動機と目的

• 従来のエコー状態ネットワーク（ESN）トレーニングでは、状態方程式パrameterのランダム初期化に依存しており、最適性保証が欠如しているという問題に対処すること。
• RMSE や FIT といったパフォーマンス指標に確実な境界を保証する、体系的で理論的裏付けのある ESN トレーニング手順を開発すること。
• トレーニングインスタンスの数と、RMSE や FIT といった主要パフォーマンス指標における明確な確率的保証との関係を特定すること。
• 実世界の SISO 非線形ベンチマーク（pH 中和プロセス）を用いて、理論的最適性境界の実証的妥当性を検証すること。

提案手法

• 無限個の可能なランダム状態方程式パrameter化の集合上でのスカラー最適化問題として、ESN トレーニング問題を定式化する。
• シナリオ最適化理論を適用し、Nδ 個のサンプリングされた ESN インスタンスを用いて、無限次元問題を有限で凸な最適化問題に変換する。
• 検証データに基づき、Nδ 個のインスタンスから最もパフォーマンスの良い ESN を選択する。この選択に対して、新たな ESN がそれを上回る確率の上界が保証される。
• 各サンプリングされた ESN に対して最小二乗法を用いて出力層重みを推定し、計算効率を確保する。
• サンプリングされたインスタンス数 Nδ を用いて、RMSE および FIT パフォーマンス指標の違反確率 ε に対する理論的境界を導出する。
• 500 個の新しい ESN インスタンスをテストし、導出されたパフォーマンスしきい値の違反回数を数えることで、理論的境界を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 シナリオ最適化は、ヒューリスティックなランダムパrameter選択に代わる理論的保証付きの手法として、ESN トレーニングに効果的に適用可能か？
• RQ2 サンプリングされた ESN インスタンス数（Nδ）と、RMSE や FIT パフォーマンス指標に与える確率的境界との関係は何か？
• RQ3 新しい ESN インスタンスをテストした際、理論的違反境界（ε）は実証的パフォーマンスとどれほど一致するか？
• RQ4 提案手法は、pH 中和プロセスのような実世界の非線形動的システムにおいて、信頼できるパフォーマンス保証を達成できるか？

主な発見

• 提案されたシナリオ最適化に基づく ESN トレーニング手法は、パフォーマンスに理論的保証を達成しており、選択された ESN を上回る新たな ESN の出現確率が ε=5% に保証されている。
• 500 個の新しい ESN インスタンスに対する実証的テストでは、FIT 指標で 0.6%、RMSE で 0.8% の違反が観測され、理論的 5% 境界をはるかに下回った。
• 200 ステートを有する ESN において、最高の FIT 値は 89.15%、最悪の RMSE は 0.048 であり、理論的境界がパフォーマンスの限界を的確に捉えていることが確認された。
• 出力重みの最小二乗推定を維持することで計算効率を保ちながら、厳密な最適性保証を追加した。
• 有名な SISO 非線形ベンチマーク（pH 中和プロセス）を用いた検証により、導出されたパフォーマンス境界の信頼性が確認された。
• 必要なトレーニングインスタンス数（Nδ=645）が、わずかな実証的違反で信頼性の高いパフォーマンス保証を達成するのに十分であることが示された。