[论文解读] Differentiable reservoir computing

Lyudmila Grigoryeva, Juan‐Pablo Ortega|Alexandria (UniSG) (University of St.Gallen)|Feb 16, 2019

Neural Networks and Reservoir Computing参考文献 66被引用 4

一句话总结

本文在一般条件下建立了离散时间回声状态网络系统中回声状态滤波器的可微性，推导出解析型回声状态映射的伏尔泰拉型级数表示。关键贡献是基于泰勒级数的严格逼近方法，附带显式误差界，证明任意记忆衰减滤波器均可通过有限记忆的有限伏尔泰拉级数一致逼近。

ABSTRACT

Much effort has been devoted in the last two decades to characterize the situations in which a reservoir computing system exhibits the so-called echo state (ESP) and fading memory (FMP) properties. These important features amount, in mathematical terms, to the existence and continuity of global reservoir system solutions. That research is complemented in this paper with the characterization of the differentiability of reservoir filters for very general classes of discrete-time deterministic inputs. This constitutes a novel strong contribution to the long line of research on the ESP and the FMP and, in particular, links to existing research on the input-dependence of the ESP. Differentiability has been shown in the literature to be a key feature in the learning of attractors of chaotic dynamical systems. A Volterra-type series representation for reservoir filters with semi-infinite discrete-time inputs is constructed in the analytic case using Taylor's theorem and corresponding approximation bounds are provided. Finally, it is shown as a corollary of these results that any fading memory filter can be uniformly approximated by a finite Volterra series with finite memory.

研究动机与目标

• 表征一般离散时间确定性输入下回声状态滤波器的可微性。
• 通过分析输入依赖性与光滑性，扩展现有对回声状态性质（ESP）与记忆衰减性质（FMP）的研究。
• 在解析性假设下，为回声状态滤波器提供伏尔泰拉级数表示，实现系统性逼近。
• 建立任意记忆衰减滤波器可被有限记忆伏尔泰拉级数一致逼近的结论。
• 通过确保可微性，弥合理论回声状态计算与实际学习之间的鸿沟，这对训练混沌动力系统至关重要。

提出的方法

• 使用泰勒定理，为解析情形下的回声状态滤波器推导出伏尔泰拉型级数表示。
• 将回声状态滤波器定义为从输入序列到状态序列的映射，确保在解析性与范数约束下具有可微性。
• 应用解析函数的柯西估计，推导截断伏尔泰拉展开的显式误差估计。
• 引入加权序列空间 $\ell_w^{-}({\mathbb{R}})$ 以控制输入与状态范数，确保级数收敛。
• 利用回声状态性质（ESP）保证回声状态滤波器解的唯一性与全局定义性。
• 通过移位算子 $T_\tau$ 证明回声状态系统解的时间不变性，确保时间平移下系统动力学保持不变。

实验结果

研究问题

• RQ1 在何种条件下，回声状态滤波器关于输入序列是可微的？
• RQ2 在解析性假设下，能否严格构造出回声状态滤波器的伏尔泰拉级数表示？
• RQ3 当将伏尔泰拉级数截断为有限记忆时，逼近误差的界是什么？
• RQ4 滤波器的可微性与记忆衰减性质（FMP）及回声状态性质（ESP）有何关联？
• RQ5 是否能够用有限记忆的有限伏尔泰拉级数一致逼近任意记忆衰减滤波器？

主要发现

• 利用泰勒定理，为解析型回声状态映射的回声状态滤波器构建了伏尔泰拉型级数表示，该表示在解析性条件下有效。
• 通过柯西估计推导出显式误差界，表明逼近误差随截断阶数呈几何级数衰减。
• 误差界与 $\frac{L}{w_{-t}} \left(1 - \frac{\|\mathbf{z}\|_w}{M}\right)^{-1} \left(\frac{\|\mathbf{z}\|_w}{M}\right)^{p+1}$ 成正比，其中 $L$ 与 $M$ 为解析性常数。
• 在回声状态映射的解析性与范数有界性假设下，确立了回声状态滤波器的可微性。
• 作为主要结果的推论，任意记忆衰减滤波器均可被有限记忆伏尔泰拉级数一致逼近。
• 在不依赖回声状态性质的条件下，仅基于系统动力学，证明了回声状态系统解的时间不变性。