[论文解读] Embedding Theory of Reservoir Computing and Reducing Reservoir Network Using Time Delays

Xing-Yue Duan, Xiong Ying+4 more|arXiv (Cornell University)|Mar 16, 2023

Neural Networks and Reservoir Computing被引用 4

一句话总结

本文建立了储層計算（RC）的嚴謹嵌入理論框架，證明RC本質上對輸入動力系統執行高維嵌入。透過僅在輸出層引入時間延遲，實現了時間延遲與儲層大小之間的權衡，降低網路複雜度，同時提升記憶容量——實驗顯示，單神經元RC在重構與預測任務中表現優於大型標準RC。

ABSTRACT

Reservoir computing (RC), a particular form of recurrent neural network, is under explosive development due to its exceptional efficacy and high performance in reconstruction or/and prediction of complex physical systems. However, the mechanism triggering such effective applications of RC is still unclear, awaiting deep and systematic exploration. Here, combining the delayed embedding theory with the generalized embedding theory, we rigorously prove that RC is essentially a high dimensional embedding of the original input nonlinear dynamical system. Thus, using this embedding property, we unify into a universal framework the standard RC and the time-delayed RC where we novelly introduce time delays only into the network's output layer, and we further find a trade-off relation between the time delays and the number of neurons in RC. Based on this finding, we significantly reduce the network size of RC for reconstructing and predicting some representative physical systems, and, more surprisingly, only using a single neuron reservoir with time delays is sometimes sufficient for achieving those tasks.

研究动机与目标

• 揭示儲層計算在重構與預測複雜動力系統方面有效性的根本機制。
• 將標準與時延RC框架統一於單一理論嵌入框架之下。
• 透過利用時延，降低儲層網路規模而不損失性能。
• 建立時間延遲與神經元數量之間的權衡關係，以實現最佳記憶容量。
• 在高維時空系統（如ISCAM與混沌吸引子）上驗證該框架。

提出的方法

• 結合延遲嵌入理論與廣義嵌入理論，證明RC是輸入動力系統的高維嵌入。
• 提出一種新型時延RC架構，僅在輸出層應用時間延遲，而非儲層本身。
• 推導出維持系統重構性能的時間延遲與儲層神經元數量之間的理論權衡關係。
• 使用維度測試與延遲互資訊（DMI）以選擇最佳儲層維度（d）與時間延遲（τ）。
• 根據李亞普諾夫時間施加約束，確保延遲觀測量的預測能力（τ·Δt·N_lag < Λ_max）。
• 對輸出層採用最小二乘法訓練，即使儲層規模縮小，仍保持計算效率。

实验结果

研究问题

• RQ1 儲層計算在數學上如何與非線性動力系統嵌入相關？
• RQ2 輸出層的時延是否可取代大型儲層以實現系統重構與預測？
• RQ3 RC中時間延遲與儲層大小之間的理論權衡為何？
• RQ4 具時延的單神經元儲層是否可超越大型標準RC？
• RQ5 如何最佳選擇超參數（d, τ）以實現有效的系統重構？

主要发现

• 嚴謹證明儲層計算是輸入動力系統的高維嵌入，為其有效性提供理論基礎。
• 具時延的單神經元儲層可達成原本需大型標準儲層才能完成的重構與預測任務。
• 該框架實現儲層規模的顯著縮小——例如，1000個神經元搭配5個延遲步驟，其在100×100 ISCAM模型上的表現優於5000個神經元的標準RC。
• 時延RC在高維混沌系統上，即使儲層規模縮小，仍能維持與標準RC相近的重構準確度。
• 時間延遲與神經元數量之間的權衡關係，使記憶容量得以保留，同時大幅降低計算與硬體成本。
• 最佳超參數（d 與 τ）可透過維度測試與改良版 DMI 選取，且 τ 受系統李亞普諾夫時間約束，以確保預測能力。

Figure 4: Reconstructed chaotic patterns for the ISCAM model by a standard non-delayed RC including 5000 neurons and a time-delayed RC including 1000 neurons and 5 lags for each neuron. (a) Selected dynamical pattern using different evolution rules. (b) Reconstruction errors deviating from true dyna