[논문 리뷰] Reservoir Computing meets Recurrent Kernels and Structured Transforms

Jonathan Dong, Ruben Ohana외 2명|arXiv (Cornell University)|2020. 06. 12.

Neural Networks and Reservoir Computing참고 문헌 59인용 수 10

한 줄 요약

이 논문은 표준 가정 하에 Reservoir Computing(RC)가 Recurrent Kernel(RK) 근처로 이론적으로 수렴함을 입증하며, 뉴런 수 N에 대해 O(1/√N) 수준의 수렴 속도를 보인다. 또한, 빠른 구조적 변환(Hadamard 등)을 사용하는 구조적 Reservoir Computing(SRC)를 도입하여 RC를 가속화함으로써 O(N log N) 복잡도를 달성하고, 대규모이며 메모리 효율적인 학습을 가능하게 하여 혼돈된 시계열 예측에서 RK 성능을 재현한다.

ABSTRACT

Reservoir Computing is a class of simple yet efficient Recurrent Neural Networks where internal weights are fixed at random and only a linear output layer is trained. In the large size limit, such random neural networks have a deep connection with kernel methods. Our contributions are threefold: a) We rigorously establish the recurrent kernel limit of Reservoir Computing and prove its convergence. b) We test our models on chaotic time series prediction, a classic but challenging benchmark in Reservoir Computing, and show how the Recurrent Kernel is competitive and computationally efficient when the number of data points remains moderate. c) When the number of samples is too large, we leverage the success of structured Random Features for kernel approximation by introducing Structured Reservoir Computing. The two proposed methods, Recurrent Kernel and Structured Reservoir Computing, turn out to be much faster and more memory-efficient than conventional Reservoir Computing.

연구 동기 및 목표

• Reservoir Computing가 N 뉴런을 가진 경우, 표준 가정 하에 Recurrent Kernel 근처로 이론적으로 수렴함을 엄밀히 입증하고, O(1/√N) 수준의 수렴 속도를 증명하는 것.
• 혼돈된 시계열 예측 작업에서 Recurrent Kernels가 경쟁 가능한 성능을 달성하면서도 중간 크기의 데이터에 대해 계산적으로 효율적임을 보여주는 것.
• 데이터 크기가 증가함에 따라 기존 RC의 높은 계산 및 메모리 비용 문제를 해결하기 위해, 빠른 구조적 변환을 사용하는 Structured Reservoir Computing(SRC)를 도입하는 것.
• SRC가 예측 성능을 유지하면서도 전방 계산 시간과 메모리 사용량을 크게 줄여 대규모 리저보아르 크기 구현을 가능하게 함을 보여주는 것.
• 구조적 랜덤 특징을 활용하여 커널 방법과 RC 사이의 격차를 메우며, 확장 가능하고 효율적인 RC 구현을 위한 기반을 마련하는 것.

제안 방법

• 표준 가정 하에 RC의 반복 커널 한계를 이론적 분석을 통해 유도하고, 밀도 있는 커널로 수렴함을 증명함.
• 커널 행렬의 원소별 연산을 사용하여 반복적 반복을 효율적으로 계산함으로써 Recurrent Kernel 프레임워크 내에서 빠른 전방 계산을 가능하게 함.
• RC 내의 밀도 있는 랜덤 가중치 행렬을 히스토그램, 푸리에 변환 등 구조적 변환과 랜덤 대각 행렬의 조합으로 대체하여 O(N log N) 복잡도를 달성함.
• 두 단계 파ip라인을 활용: (1) 리저보아르 상태 계산을 위한 구조적 변환을 사용한 전방 계산, (2) 출력층 학습을 위한 선형 회귀.
• 시계열 예측을 위한 자율 동역학을 구현하고, 장기 예측을 위해 전방 계산을 반복적으로 반복함.
• GPU 기반 벤치마크를 활용하여 혼돈된 시계열(Kuramoto-Sivashinsky) 작업에서 RC, RK, SRC 간의 계산 복잡도와 메모리 사용량을 비교함.

실험 결과

연구 질문

• RQ1 Reservoir Computing는 대규모 N에서 Recurrent Kernel으로 수렴하는가? 그리고 수렴 속도는 어떠한가?
• RQ2 혼돈된 시계열 예측 작업에서 Recurrent Kernel의 성능은 기존 RC와 비교해 어떻게 되는가?
• RQ3 구조적 변환을 사용하여 Reservoir Computing를 가속화하면서도 예측 성능을 유지할 수 있는가?
• RQ4 Recurrent Kernels와 Structured Reservoir Computing의 계산 및 메모리 복잡도는 기존 RC와 비교해 어떻게 되는가?
• RQ5 Structured Reservoir Computing는 정확도를 훼손하지 않고도 매우 큰 리저보아르 크기로 확장 가능한가?

주요 결과

• 논문은 RC가 대규모 N에서 O(1/√N) 수렴 속도로 Recurrent Kernel로 수렴함을 증명하였으며, 다양한 활성화 함수에 대해 수치적으로 검증함.
• Recurrent Kernels는 혼돈된 시계열(Kuramoto-Sivashinsky)에서 경쟁 가능한 예측 정확도를 달성하며, 중간 크기의 데이터에 대해 계산적으로 효율적임. N=1,948일 경우 전방 계산 시간이 최소 0.7초까지 감소함.
• SRC는 리저보아르 크기 10^5까지 약 일정한 전방 계산 시간을 유지함. N=32,668일 경우 약 3.6초로 기존 RC의 대용량 N에서 발생하는 메모리 오류를 피함.
• SRC는 기존 RC보다 메모리 효율성이 뛰어나 대규모 리저보아르 크기에서도 GPU 메모리 오버플로우를 방지하며, 속도와 확장성 면에서 RC를 초월함.
• 대규모 학습 세트(n > 10k)에서는 Recurrent Kernels의 예측이 느려지며, 커널 행렬 연산에서 병목 현상이 발생함을 확인함. 반면 SRC는 빠른 전방 계산 유지함.
• RC, RK, SRC 세 방법 모두 대차게 큰 차원 영역에서 유사한 성능 수준에 수렴함을 확인하여, SRC가 대규모에서 RK 근처를 효과적으로 근사함을 확인함.