[論文レビュー] Embedding Theory of Reservoir Computing and Reducing Reservoir Network Using Time Delays

Xing-Yue Duan, Xiong Ying+4 more|arXiv (Cornell University)|Mar 16, 2023

Neural Networks and Reservoir Computing被引用数 4

ひとこと要約

本論文は、リザボアコンピューティング（RC）の厳密な埋め込み理論フレームワークを確立し、RCが入力力学系の高次元埋め込みを本質的に実行することを証明する。出力層でのみ時間遅れを導入することで、時間遅れとリザボアサイズのトレードオフを可能にし、ネットワークの複雑さを低減しながら記憶容量を向上させる。実験では、1ニューロンのRCが、大規模な標準RCを上回る性能を示し、再構築および予測タスクで優れた結果を達成した。

ABSTRACT

Reservoir computing (RC), a particular form of recurrent neural network, is under explosive development due to its exceptional efficacy and high performance in reconstruction or/and prediction of complex physical systems. However, the mechanism triggering such effective applications of RC is still unclear, awaiting deep and systematic exploration. Here, combining the delayed embedding theory with the generalized embedding theory, we rigorously prove that RC is essentially a high dimensional embedding of the original input nonlinear dynamical system. Thus, using this embedding property, we unify into a universal framework the standard RC and the time-delayed RC where we novelly introduce time delays only into the network's output layer, and we further find a trade-off relation between the time delays and the number of neurons in RC. Based on this finding, we significantly reduce the network size of RC for reconstructing and predicting some representative physical systems, and, more surprisingly, only using a single neuron reservoir with time delays is sometimes sufficient for achieving those tasks.

研究の動機と目的

• リザボアコンピューティングが複雑力学系を再構築・予測する際の本質的メカニズムを解明すること。
• 標準的RCと時間遅れ付きRCのフレームワークを、統一的な理論的埋め込み枠組みで統合すること。
• 時間遅れを活用することで、性能を損なわずにリザボアネットワークのサイズを縮小すること。
• 最適な記憶容量を達成するための、時間遅れとニューロン数のトレードオフを確立すること。
• 高次元時空間系（ISCAM やカオス的アトラクタを含む）において、フレームワークの有効性を検証すること。

提案手法

• 遅延埋め込み理論と一般化埋め込み理論を組み合わせ、RCが入力力学系の高次元埋め込みであることを理論的に証明する。
• 時間遅れをリザボア自体にではなく、出力層にのみ適用する、新規の時間遅れ付きRCアーキテクチャを提案する。
• システム再構築性能を維持するための、時間遅れとリザボアニューロン数の理論的トレードオフ関係を導出する。
• 次元テストと遅延相互情報量（DMI）を用いて、最適なリザボア次元（d）と時間遅れ（τ）を選択する。
• リザボアの予測性能を保証するため、リーマン時間に基づく制約を適用する（τ·Δt·N_lag < Λ_max）。
• 出力層に最小二乗法を用いることで、リザボアサイズが小さくても計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 リザボアコンピューティングは、非線形力学系の埋め込みと数学的にどのように関係しているか？
• RQ2 出力層での時間遅れが、大規模なリザボアを代替してシステム再構築と予測を達成できるか？
• RQ3 RCにおける時間遅れとリザボアサイズの理論的トレードオフは何か？
• RQ4 時間遅れ付きの1ニューロンリザボアは、大規模な標準RCを上回る性能を示せるか？
• RQ5 効果的なシステム再構築のためのハイパーパrameter（d, τ）を最適に選択する方法は何か？

主な発見

• リザボアコンピューティングが入力力学系の高次元埋め込みであることが厳密に証明され、その有効性の理論的基盤が確立された。
• 時間遅れ付きの1ニューロンリザボアは、遅れなしの大規模標準RCが要請するタスクを、再構築および予測の両方で達成できる。
• 本フレームワークにより、リザボアサイズの顕著な縮小が可能となった。例えば、5ラグを伴う1000ニューロンのRCが、100×100のISCAMモデルの再構築において、5000ニューロンの標準RCを上回った。
• 時間遅れ付きRCは、同じ出力次元を持つ標準RCとほぼ同等の再構築精度を維持しており、高次元カオス的系に対しても有効であった。
• 時間遅れとニューロン数のトレードオフにより、計算コストおよびハードウェアコストを著しく削減しながらも、記憶容量を維持できる。
• 最適なハイパーパrameter（d と τ）は、次元テストと改変された DMI を用いて選択可能であり、τ はシステムのリーマン時間によって制約され、予測性能が保たれる。

Figure 4: Reconstructed chaotic patterns for the ISCAM model by a standard non-delayed RC including 5000 neurons and a time-delayed RC including 1000 neurons and 5 lags for each neuron. (a) Selected dynamical pattern using different evolution rules. (b) Reconstruction errors deviating from true dyna