[논문 리뷰] Differentiable reservoir computing

Lyudmila Grigoryeva, Juan‐Pablo Ortega|Alexandria (UniSG) (University of St.Gallen)|2019. 02. 16.

Neural Networks and Reservoir Computing참고 문헌 66인용 수 4

한 줄 요약

이 논문은 일반 조건 하에서 이산시간 리저보아르 컴퓨팅 시스템의 리저보아르 필터의 미분 가능성성을 확립하며, 해석적 리저보아르 맵에 대해 볼테라 유형의 급수 표현을 유도한다. 주요 기여는 명시적인 오차 한계를 제공하는 엄밀한 테일러 급수 기반 근사법으로, 임의의 페이딩 메모리 필터가 유한 메모리의 유한 볼테라 급수에 의해 균일하게 근사될 수 있음을 증명한다.

ABSTRACT

Much effort has been devoted in the last two decades to characterize the situations in which a reservoir computing system exhibits the so-called echo state (ESP) and fading memory (FMP) properties. These important features amount, in mathematical terms, to the existence and continuity of global reservoir system solutions. That research is complemented in this paper with the characterization of the differentiability of reservoir filters for very general classes of discrete-time deterministic inputs. This constitutes a novel strong contribution to the long line of research on the ESP and the FMP and, in particular, links to existing research on the input-dependence of the ESP. Differentiability has been shown in the literature to be a key feature in the learning of attractors of chaotic dynamical systems. A Volterra-type series representation for reservoir filters with semi-infinite discrete-time inputs is constructed in the analytic case using Taylor's theorem and corresponding approximation bounds are provided. Finally, it is shown as a corollary of these results that any fading memory filter can be uniformly approximated by a finite Volterra series with finite memory.

연구 동기 및 목표

• 일반적인 이산시간 결정론적 입력에 대해 리저보아르 필터의 미분 가능성성을 특성화하기 위해.
• 에코 상태 성질(ESP)과 페이딩 메모리 성질(FMP)에 대한 기존 연구를 확장하기 위해 입력 의존성과 미세도를 분석하기 위해.
• 해석성 가정 하에서 리저보아르 필터의 볼테라 급수 표현을 제공하여 체계적 근사를 가능하게 하기 위해.
• 임의의 페이딩 메모리 필터가 유한 메모리 볼테라 급수에 의해 균일하게 근사될 수 있음을 확립하기 위해.
• 혼란 동역계 학습에 필수적인 미분 가능성 보장을 통해 이론적 리저보아르 컴퓨팅과 실용적 학습을 연결하기 위해.

제안 방법

• 해석적 경우에 대해 리저보아르 필터의 볼테라 유형 급수 표현을 도출하기 위해 테일러 정리를 사용한다.
• 리저보아르 필터를 입력 시퀀스에서 리저보아르 상태로의 해 맵으로 정의하여, 해석성 및 노름 제약 조건 하에서 미분 가능성 보장.
• 해석 함수에 대한 코시 추정을 적용하여 잘라낸 볼테라 전개의 명시적 오차 추정을 유도한다.
• 수렴을 보장하기 위해 가중치 시퀀스 공간 $\ell_w^{-}({\mathbb{R}})$ 를 도입하여 입력 및 상태 노름을 제어한다.
• 에코 상태 성질(ESP)을 활용하여 리저보아르 필터 해가 유일하고 전역적으로 정의됨을 보장한다.
• 시프트 연산자 $T_\tau$ 를 통한 시간 불변성 증명을 통해 시간 이동 하에 시스템 역학이 유지됨을 보장한다.

실험 결과

연구 질문

• RQ1 리저보아르 필터가 입력 시퀀스에 대해 어떤 조건에서 미분 가능할 수 있는가?
• RQ2 해석성 가정 하에서 리저보아르 필터에 대해 볼테라 급수 표현을 엄밀히 구성할 수 있는가?
• RQ3 볼테라 급수를 유한 메모리로 잘라낼 때의 근사 오차 한계는 무엇인가?
• RQ4 리저보아르 필터의 미분 가능성은 페이딩 메모리 성질(FMP)과 에코 상태 성질(ESP)과 어떻게 관련이 있는가?
• RQ5 임의의 페이딩 메모리 필터를 유한 메모리 볼테라 급수로 균일하게 근사할 수 있는가?

주요 결과

• 테일러 정리를 사용하여 해석적 리저보아르 맵에 대해 볼테라 유형 급수 표현을 구성하였다. 이는 유효하다.
• 코시 추정을 통해 명시적 오차 한계를 도출하였으며, 이는 잘라낸 순서가 증가함에 따라 기하급수적으로 감소함을 보여준다.
• 오차 한계는 $\frac{L}{w_{-t}} \left(1 - \frac{\|\mathbf{z}\|_w}{M}\right)^{-1} \left(\frac{\|\mathbf{z}\|_w}{M}\right)^{p+1}$ 에 비례하며, 여기서 $L$ 과 $M$ 은 해석성 상수이다.
• 리저보아르 맵의 해석성 및 노름 유계성 가정 하에서 리저보아르 필터의 미분 가능성은 입증되었다.
• 메인 결과의 따름정리로, 임의의 페이딩 메모리 필터는 유한 메모리 볼테라 급수에 의해 균일하게 근사될 수 있다.
• 에코 상태 성질을 요구하지 않고, 시스템 역학에만 기반하여 리저보아르 시스템 해의 시간 불변성이 증명되었다.