[논문 리뷰] Simple Cycle Reservoirs are Universal

Boyu Li, Robert Simon Fong외 1명|arXiv (Cornell University)|2023. 08. 21.

Neural Networks and Reservoir Computing인용 수 4

한 줄 요약

이 논문은 균일한 순환 가중치와 이진 입력-저지 연결을 갖는 매우 제약된 저지 구조인 단순 순환 저지(SCRs)가 균일하게 유계인 입력에 대해 시간 불변성의 페이딩 메모리 필터를 보편적으로 근사할 수 있음을 증명한다. 복소수 영역에서는 단일 SCR 또는 실수/허수 성분을 갖는 쌍순환 SCR이 연속 독출을 갖는 어떤 선형 저지 시스템이라도 임의의 정밀도로 근사할 수 있으며, 이는 하드웨어 효율적인 보편적 계산을 가능하게 한다.

ABSTRACT

Reservoir computation models form a subclass of recurrent neural networks with fixed non-trainable input and dynamic coupling weights. Only the static readout from the state space (reservoir) is trainable, thus avoiding the known problems with propagation of gradient information backwards through time. Reservoir models have been successfully applied in a variety of tasks and were shown to be universal approximators of time-invariant fading memory dynamic filters under various settings. Simple cycle reservoirs (SCR) have been suggested as severely restricted reservoir architecture, with equal weight ring connectivity of the reservoir units and input-to-reservoir weights of binary nature with the same absolute value. Such architectures are well suited for hardware implementations without performance degradation in many practical tasks. In this contribution, we rigorously study the expressive power of SCR in the complex domain and show that they are capable of universal approximation of any unrestricted linear reservoir system (with continuous readout) and hence any time-invariant fading memory filter over uniformly bounded input streams.

연구 동기 및 목표

• 저지 계산의 맥락에서 매우 제약된 저지 아키텍처, 특히 단순 순환 저지(SCRs)의 보편 근사 능력을 확립하기 위해.
• 같은 무게의 고리 연결과 이진 입력 가중치를 갖는 SCRs가 연속 독출을 갖는 어떤 선형 저지 시스템이라도 근사할 수 있는지 조사하기 위해.
• 균일하게 유계인 입력 스트림에 대해 시간 불변성의 페이딩 메모리 필터를 보편적으로 근사할 수 있는 이러한 아키텍처가 충분한지 확인하기 위해.
• 실제 작업에서의 SCRs의 경험적 성공과 이론적 표현 능력 사이의 격차를 메우기 위해, 특히 복소수 영역에서의 성능을 고려하기 위해.
• 최소한의 설계 복잡성(균일한 가중치, 이진 결합)이 여전히 보편 근사를 가능하게 함을 보여줌으로써 하드웨어 구현의 실현 가능성을 뒷받침하기 위해.

제안 방법

• 선형 저지 시스템을 삼중조합 (W, V, h)으로 공식화하며, 여기서 W는 저지 가중치 행렬, V는 입력-저지 결합 행렬, h는 연속 독출 함수이다.
• λ로 스케일된 순환치환 행렬 P₁을 갖는 복소수 영역의 SCR(C-SCR)를 도입하며, 입력 가중치는 {±1, ±i}로 제한되어 복소수 동역학을 가능하게 한다.
• 실수 값의 두 개의 병렬 순환 고리와 {−1, 1} 가중치를 갖는 쌍순환 SCR 아키텍처를 구성하며, 실수 및 허수 성분을 조합한 복소수 독출을 사용한다.
• Grigoryeva 등(2018)의 결과를 활용하여, 어떤 시간 불변성의 페이딩 메모리 필터라도 다항식 독출을 갖는 선형 저지 시스템에 의해 근사될 수 있음을 증명한다.
• 이러한 시스템이 C-SCR 또는 쌍순환 SCR에 의해 ε 정밀도로 근사될 수 있음을 증명하며, 입력 도메인의 선형 변환을 통해 다항식 독출의 차수를 유지한다.
• 수론적 조건(gcd(k, n′_U) = 1)을 활용하여 순환 구조가 최대 질량 상태 전이를 생성하고 밀도 있는 상태 공간 커버리지가 가능함을 보장한다.

실험 결과

연구 질문

• RQ1 균일한 순환 가중치와 이진 입력-저지 결합을 갖는 단순 순환 저지(SCRs)가 어떤 시간 불변성의 페이딩 메모리 필터라도 보편적으로 근사할 수 있는가?
• RQ2 저지 계산에서 보편 근사를 달성하기 위해 필요한 최소한의 아키텍처 복잡성은 무엇인가?
• RQ3 SCRs에서 복소수 가중치와 입력을 사용할 경우 실수수 대비 표현 능력이 향상되는가?
• RQ4 단일 C-SCR 또는 쌍순환 SCR 아키텍처가 연속 독출을 갖는 선형 저지 시스템을 보편적으로 근사할 수 있는가?
• RQ5 순환 길이와 저지 크기에 대한 수론적 조건이 SCRs의 근사 능력에 어떤 영향을 미치는가?

주요 결과

• 균일한 순환 가중치와 이진 입력-저지 연결(±1, ±i)을 갖는 단순 순환 저지(SCRs)는 균일하게 유계인 입력에 대해 어떤 시간 불변성의 페이딩 메모리 필터라도 보편 근사자이다.
• 순환 길이와 저지 크기가 gcd(k, n′_U) = 1를 만족할 경우, 단일 C-SCR는 연속 독출을 갖는 어떤 선형 저지 시스템이라도 임의의 정밀도 ε > 0로 근사할 수 있다.
• 실수 값의 두 병렬 순환 고리와 {−1, 1} 가중치를 갖는 쌍순환 SCR 아키텍처는 실수 및 허수 성분을 조합한 복소수 독출을 통해 보편 근사를 달성한다.
• 근사 과정에서 다항식 독출 함수의 차수를 유지하므로 원래 시스템의 표현 능력이 SCR 표현에서도 그대로 유지된다.
• 결과적으로, 최소한의 자유도를 갖는 아키텍처로도 저지 계산의 보편성을 확장하여, 성능 보장이 가능한 하드웨어 구현에 활용 가능함을 보여준다.
• 이론적 프레임워크는 고정된 고리 연결과 이진 가중치를 갖는 심지어 극도로 제약된 저지라도 보편 근사를 달성할 수 있음을 확인하며, 이러한 저지의 뛰어난 성능에 대한 경험적 관찰을 뒷받침한다.