[논문 리뷰] Embedding Theory of Reservoir Computing and Reducing Reservoir Network Using Time Delays

Xing-Yue Duan, Xiong Ying외 4명|arXiv (Cornell University)|2023. 03. 16.

Neural Networks and Reservoir Computing인용 수 4

한 줄 요약

이 논문은 소용돌이 컴퓨팅(Reservoir Computing, RC)을 위한 엄밀한 임bedding 이론 프레임워크를 수립하여, RC가 입력 동역학 시스템의 고차원 임베딩을 본질적으로 수행한다는 것을 증명한다. 출력층에만 시간 지연을 도입함으로써, 시간 지연과 소용돌이 크기 사이의 트레이드오프를 가능하게 하여 네트워크 복잡성을 감소시키면서도 기억 용량을 향상시킨다. 이는 단일 신경세포 기반 RC가 재구성 및 예측 과제에서 대규모 표준 RC를 능가함으로써 입증되었다.

ABSTRACT

Reservoir computing (RC), a particular form of recurrent neural network, is under explosive development due to its exceptional efficacy and high performance in reconstruction or/and prediction of complex physical systems. However, the mechanism triggering such effective applications of RC is still unclear, awaiting deep and systematic exploration. Here, combining the delayed embedding theory with the generalized embedding theory, we rigorously prove that RC is essentially a high dimensional embedding of the original input nonlinear dynamical system. Thus, using this embedding property, we unify into a universal framework the standard RC and the time-delayed RC where we novelly introduce time delays only into the network's output layer, and we further find a trade-off relation between the time delays and the number of neurons in RC. Based on this finding, we significantly reduce the network size of RC for reconstructing and predicting some representative physical systems, and, more surprisingly, only using a single neuron reservoir with time delays is sometimes sufficient for achieving those tasks.

연구 동기 및 목표

• 소용돌이 컴퓨팅이 복잡한 동역학 시스템을 재구성하고 예측하는 데 효과적인 근본적인 메커니즘을 밝혀내는 것.
• 표준 RC와 시간 지연 RC 프레임워크를 하나의 이론적 임베딩 프레임워크 아래 통합하는 것.
• 시간 지연을 활용하여 성능을 유지하면서 소용돌이 네트워크 크기를 줄이는 것.
• 최적의 기억 용량을 확보하기 위해 시간 지연과 뉴런 수 사이의 트레이드오프를 수립하는 것.
• 고차원 시공간 시스템인 ISCAM 및 혼돈 애트랙터와 같은 시스템에서 프레임워크를 검증하는 것.

제안 방법

• 지연된 임베딩 이론과 일반화된 임베딩 이론을 조합하여, RC가 입력 동역학 시스템의 고차원 임베딩임을 증명한다.
• 시간 지연을 소용돌이 자체가 아닌 출력층에만 적용하는 새로운 시간 지연 RC 아키텍처를 제안한다.
• 시스템 재구성 성능을 유지하기 위한 시간 지연과 소용돌이 뉴런 수 사이의 이론적 트레이드오프 관계를 유도한다.
• 차원 테스트와 지연 상호정보량(Delayed Mutual Information, DMI)을 사용하여 최적의 소용돌이 차원(d)과 시간 지연(τ)을 선정한다.
• 지수적 분리 시간(Lyapunov time) 기반 제약 조건을 적용하여 지연 관측치의 예측 능력을 보장한다 (τ·Δt·N_lag < Λ_max).
• 최소 제곱법을 사용한 출력층 학습을 적용하여, 소용돌이 크기가 감소함에도 불구하고 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 소용돌이 컴퓨팅은 비선형 동역학 시스템의 임베딩과 수학적으로 어떻게 관련되어 있는가?
• RQ2 출력층의 시간 지연이 큰 소용돌이를 대체하여 시스템 재구성과 예측을 달성할 수 있는가?
• RQ3 RC에서 시간 지연과 소용돌이 크기 사이의 이론적 트레이드오프는 무엇인가?
• RQ4 시간 지연을 가진 단일 뉴런 소용돌이가 대규모 표준 RC를 능가할 수 있는가?
• RQ5 효율적인 시스템 재구성에 적합한 최적의 초모델 파rameter(d, τ)는 어떻게 선정할 수 있는가?

주요 결과

• 소용돌이 컴퓨팅이 입력 동역학 시스템의 고차원 임베딩임을 엄밀히 증명하여, 그 효과성의 이론적 기반을 제공한다.
• 시간 지연이 있는 단일 뉴런 소용돌이는 지연이 없는 대규모 표준 소용돌이가 요구하는 재구성 및 예측 과제를 수행할 수 있다.
• 이 프레임워크는 소용돌이 크기를 크게 줄일 수 있게 하여, 예를 들어 5000개의 뉴런을 가진 표준 RC보다 1000개의 뉴런에 5개의 레그를 가진 소용돌이가 100×100 ISCAM 모델 재구성에서 더 우수한 성능을 보였다.
• 시간 지연 RC는 동일한 출력 차원을 가진 표준 RC와 거의 동일한 재구성 정확도를 유지하며, 고차원 혼돈 시스템에서도 성능이 뛰어나다.
• 시간 지연과 뉴런 수 사이의 트레이드오프는 계산 및 하드웨어 비용을 크게 낮추면서도 기억 용량을 유지할 수 있도록 한다.
• 최적의 초모델 파rameter(d 및 τ)는 차원 테스트와 수정된 DMI를 통해 선정할 수 있으며, τ는 시스템의 리아풀로프 시간에 의해 제약되어 예측 능력을 유지한다.

Figure 4: Reconstructed chaotic patterns for the ISCAM model by a standard non-delayed RC including 5000 neurons and a time-delayed RC including 1000 neurons and 5 lags for each neuron. (a) Selected dynamical pattern using different evolution rules. (b) Reconstruction errors deviating from true dyna