[論文レビュー] Differentiable reservoir computing

Lyudmila Grigoryeva, Juan‐Pablo Ortega|Alexandria (UniSG) (University of St.Gallen)|Feb 16, 2019

Neural Networks and Reservoir Computing参考文献 66被引用数 4

ひとこと要約

本稿は、一般の条件下において離散時刻リザボア計算システムにおけるリザボアフィルタの微分可能性を確立し、解析的リザボア写像に対してボルテラ型級数表現を導出する。主な貢献は、明示的な誤差バウンドを伴うテイラー級数に基づく厳密な近似であり、任意のフェーディングメモリフィルタが有限記憶の有限ボルテラ級数によって一様に近似可能であることを証明している。

ABSTRACT

Much effort has been devoted in the last two decades to characterize the situations in which a reservoir computing system exhibits the so-called echo state (ESP) and fading memory (FMP) properties. These important features amount, in mathematical terms, to the existence and continuity of global reservoir system solutions. That research is complemented in this paper with the characterization of the differentiability of reservoir filters for very general classes of discrete-time deterministic inputs. This constitutes a novel strong contribution to the long line of research on the ESP and the FMP and, in particular, links to existing research on the input-dependence of the ESP. Differentiability has been shown in the literature to be a key feature in the learning of attractors of chaotic dynamical systems. A Volterra-type series representation for reservoir filters with semi-infinite discrete-time inputs is constructed in the analytic case using Taylor's theorem and corresponding approximation bounds are provided. Finally, it is shown as a corollary of these results that any fading memory filter can be uniformly approximated by a finite Volterra series with finite memory.

研究の動機と目的

• 一般の離散時刻決定的入力におけるリザボアフィルタの微分可能性を特徴づけること。
• エコー状態性質（ESP）およびフェーディングメモリ性質（FMP）に関する既存研究を、入力依存性と滑らかさの分析によって拡張すること。
• 解析的仮定の下でリザボアフィルタのボルテラ級数表現を提供し、体系的な近似を可能にすること。
• 任意のフェーディングメモリフィルタが有限記憶のボルテラ級数によって一様に近似可能であることを確立すること。
• 学習に適した実用的リザボア計算理論を構築するため、微分可能性を保証することで、カオス的力学系の学習に不可欠な要因を橋渡しすること。

提案手法

• テイラーの定理を用いて、解析的状況におけるリザボアフィルタのボルテラ型級数表現を導出する。
• リザボアフィルタを入力系列からリザボア状態への写像として定義し、解析性およびノルム制約のもとで微分可能性を保証する。
• 解析関数のカウチ推定を適用して、切り捨てられたボルテラ展開の明示的誤差推定を導出する。
• 収束を保証するため、入力および状態ノルムを制御するための重み付き列空間 $\ell_w^{-}({\mathbb{R}})$ を導入する。
• エコー状態性質（ESP）を活用して、一意的かつグローバルに定義されたリザボアフィルタ解が保証されることを示す。
• シフト作用素 $T_\tau$ を用いて、時間不変性が時間シフト下でも系のダイナミクスを保存する形で証明する。

実験結果

リサーチクエスチョン

• RQ1 リザボアフィルタが入力系列に関していつ微分可能となるか。
• RQ2 解析的仮定の下で、リザボアフィルタに対してボルテラ級数表現を厳密に構成可能か。
• RQ3 ボルテラ級数を有限記憶に切り捨てる際の近似誤差バウンドは何か。
• RQ4 フィルタの微分可能性はフェーディングメモリ性質（FMP）およびエコー状態性質（ESP）とどのように関係するか。
• RQ5 任意のフェーディングメモリフィルタを、有限記憶の有限ボルテラ級数によって一様に近似可能か。

主な発見

• テイラーの定理を用いて、解析的リザボア写像に対してボルテラ型級数表現を構成した。
• カウチ推定を用いて明示的な誤差バウンドを導出し、切り捨て順序が増加するにつれて誤差が幾何的に減少することを示した。
• 誤差バウンドは $\frac{L}{w_{-t}} \left(1 - \frac{\|\mathbf{z}\|_w}{M}\right)^{-1} \left(\frac{\|\mathbf{z}\|_w}{M}\right)^{p+1}$ に比例し、ここで $L$ および $M$ は解析的定数である。
• リザボア写像の解析性およびノルム有界性の仮定のもとで、リザボアフィルタの微分可能性が確立された。
• 主結果の系として、任意のフェーディングメモリフィルタが有限記憶の有限ボルテラ級数によって一様に近似可能であることが示された。
• エコー状態性質を仮定せず、系のダイナミクスにのみ依存して、リザボア系解の時間不変性が証明された。