[論文レビュー] Recurrent Stochastic Configuration Networks for Temporal Data Analytics

Dianhui Wang, Gang Dang|arXiv (Cornell University)|Jun 21, 2024

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、動的システムの次数に関する事前知識が不要な、時系列データ解析のための新規な確率的再帰的ニューラルネットワーク、再帰的確率的構成ネットワーク（RSCN）を提案する。監視メカニズムを用いてランダムな重みを割り当て、特別なフィードバック行列構造を採用することで、RSCNはエコー状態特性と普遍的近似性を保証する。また、射影アルゴリズムを用いたオンライン出力重み更新により収束性とロバスト性が保証される。RSCNは産業用時系列予測およびシステム同定タスクにおいて、LSTM、ESN、最先端のESN変種と比較して、学習精度、一般化性能、計算効率の面で優れた性能を発揮する。

ABSTRACT

Temporal data modelling techniques with neural networks are useful in many domain applications, including time-series forecasting and control engineering. This paper aims at developing a recurrent version of stochastic configuration networks (RSCNs) for problem solving, where we have no underlying assumption on the dynamic orders of the input variables. Given a collection of historical data, we first build an initial RSCN model in the light of a supervisory mechanism, followed by an online update of the output weights by using a projection algorithm. Some theoretical results are established, including the echo state property, the universal approximation property of RSCNs for both the offline and online learnings, and the convergence of the output weights. The proposed RSCN model is remarkably distinguished from the well-known echo state networks (ESNs) in terms of the way of assigning the input random weight matrix and a special structure of the random feedback matrix. A comprehensive comparison study among the long short-term memory (LSTM) network, the original ESN, and several state-of-the-art ESN methods such as the simple cycle reservoir (SCR), the polynomial ESN (PESN), the leaky-integrator ESN (LIESN) and RSCN is carried out. Numerical results clearly indicate that the proposed RSCN performs favourably over all of the datasets.

研究の動機と目的

• 産業プロセスにおける動的次数が未知または不確実な非線形システムのモデリングの課題に対処すること。
• 入力変数の順序特定を明示的に行う必要を排除すること。これは、リアルタイム応用において時間のかかる作業であり、現実的ではない。
• エコー状態特性を維持しつつ、パラメータ初期化および構造設計を改善する再帰的ニューラルネットワークフレームワークの開発。
• オフラインおよびオンライン学習の両設定において、出力重みの普遍的近似性と収束性を保証すること。
• 効率的な実世界への展開を可能にする、コンactなリザボア構造を備えた、高い一般化性能と学習性能を達成すること。

提案手法

• RSCNモデルは、安定性と表現力の確保を目的に、監視メカニズムを用いて入力およびフィードバック重みを割り当てる再帰的確率的構成（RSC）アルゴリズムによって初期化される。
• ネットワークの時系列ダイナミクスを捉える能力を高め、エコー状態特性を支援するため、ランダムフィードバック行列に特別な構造を課す。
• 収束性と動的システムの変化への適応性を保証するために、射影に基づくアルゴリズムを用いて出力重みをオンラインで更新する。
• オフライン学習とオンライン適応を組み合わせることで、両学習モードにおける普遍的近似性を実現する。
• 理論的分析により、提案されたフレームワーク下でエコー状態特性、普遍的近似性、出力重みの収束性が証明されている。
• リザボアサイズは、データ依存の監視メカニズムを通じて適応的に決定され、手動チューニングへの依存が低減される。

実験結果

リサーチクエスチョン

• RQ1 動的次数が未知の非線形システムを、明示的な入力変数選択を要せずモデリングできる再帰的ニューラルネットワークを設計できるか？
• RQ2 提案されたRSCNフレームワークは、標準的なESNと比較して一般化性能と収束性を向上させつつ、エコー状態特性を維持できるか？
• RQ3 射影アルゴリズムを用いたオンライン出力重み更新は、動的環境下で安定的かつ収束的な学習を保証できるか？
• RQ4 RSCNは、LSTMおよび最先端のESN変種と比較して、精度、一般化性能、計算効率の面でどのように性能を発揮するか？
• RQ5 リザボアサイズと構造が、実産業応用におけるRSCNの性能とロバストネスに与える影響は何か？

主な発見

• RSCNは、両産業ケースにおいて、LSTM、ESN、SCR、PESN、LIESNと比較して、テストNRMSEが最小であり、Case 2では0.51078±0.03685、Case 1では0.06793±0.00411を記録した。
• ESN（Case 2では103、Case 1では213）と比較して、RSCNは著しく小さいリザボアサイズ（Case 2では65ノード、Case 1では87ノード）を用いており、計算効率の高さが裏付けられた。
• 射影アルゴリズムによる出力重み更新プロセスは明確な収束を示し、誤差が時間経過とともに減少した。これは、リアルタイム応用におけるモデル安定性を保証する。
• RSCNの最適リザボアサイズは、Case 1で60、Case 2で70であり、全サイズ範囲で他のモデルと比較してテストNRMSEが一貫して低かった。
• 図12および13の予測曲線は、RSCNが望ましい出力に密接に追従しており、LSTMおよびすべてのESN変種と比較して、追従精度が優れていることを示している。
• RSCNフレームワークは、コンactなアーキテクチャを維持しながら、優れた一般化性能と学習性能を達成しており、産業用時系列データ解析への有効性が裏付けられた。