[論文レビュー] Reservoir Computing meets Recurrent Kernels and Structured Transforms

Jonathan Dong, Ruben Ohana+2 more|arXiv (Cornell University)|Jun 12, 2020

Neural Networks and Reservoir Computing参考文献 59被引用数 10

ひとこと要約

本稿は、標準的な仮定の下で、Reservoir Computing (RC) が Recurrent Kernel (RK) 限界に理論的に収束することを確立し、N 個のニューロンを用いた収束速度 O(1/√N) を証明する。また、高速な構造的変換（例：ハダマード変換）を用いた構造的Reservoir Computing (SRC) を導入し、RC の計算を加速させ、O(N log N) の複雑性を達成。これにより、大規模かつメモリ効率の良い学習が可能となり、カオス的時系列予測において RK の性能を再現する。

ABSTRACT

Reservoir Computing is a class of simple yet efficient Recurrent Neural Networks where internal weights are fixed at random and only a linear output layer is trained. In the large size limit, such random neural networks have a deep connection with kernel methods. Our contributions are threefold: a) We rigorously establish the recurrent kernel limit of Reservoir Computing and prove its convergence. b) We test our models on chaotic time series prediction, a classic but challenging benchmark in Reservoir Computing, and show how the Recurrent Kernel is competitive and computationally efficient when the number of data points remains moderate. c) When the number of samples is too large, we leverage the success of structured Random Features for kernel approximation by introducing Structured Reservoir Computing. The two proposed methods, Recurrent Kernel and Structured Reservoir Computing, turn out to be much faster and more memory-efficient than conventional Reservoir Computing.

研究の動機と目的

• Reservoir Computing が N 個のニューロンを用いて、理論的に Recurrent Kernel 限界に収束することを厳密に確立し、収束速度が O(1/√N) であることを証明すること。
• カオス的時系列予測タスクにおいて、Recurrent Kernels が競争力のある性能を示し、中程度のデータサイズに対して計算効率が良いことを示すこと。
• データサイズが増加する際、従来の RC が直面する高い計算コストとメモリコストを解消するため、高速な構造的変換を用いた Structured Reservoir Computing を導入すること。
• SRC が予測性能を維持しながら、前方伝搬時間とメモリ使用量を著しく削減できることを示し、大規模なリザボアサイズを可能にすること。
• 構造的ランダム特徴量を活用することで、カーネル法と RC の間のギャップを埋め、スケーラブルで効率的な RC 実装を実現すること。

提案手法

• 標準的な仮定の下で、RC の再帰的カーネル限界を理論的分析により導出し、確定的カーネルへの収束を証明する。
• カーネル行列に対する要素ごとの演算を用いて、再帰的反復を効率的に計算し、Recurrent Kernel フレームワークにおける高速な前方伝搬を実現する。
• RC における密なランダム重み行列を、ハダマード変換やフーリエ変換などの構造的変換とランダムな対角行列の組み合わせに置き換え、O(N log N) の複雑性を達成する。
• 2段階のパイプラインを採用：(1) 構造的変換を用いた前方伝搬によるリザボア状態の計算、(2) 出力層の学習に線形回帰を適用する。
• 時系列予測のための自己動的ダイナミクスを実装し、前方伝搬を繰り返し実行することで、長期間予測を実現する。
• GPU を用いたベンチマークを実施し、カオス的時系列（Kuramoto-Sivashinsky）タスクにおいて、RC、RK、SRC の計算複雑性とメモリ使用量を比較する。

実験結果

リサーチクエスチョン

• RQ1 Reservoir Computing は大規模 N における限界で Recurrent Kernel に収束するか？収束速度はいかほどか？
• RQ2 カオス的時系列予測タスクにおいて、Recurrent Kernels の性能は従来の Reservoir Computing と比べてどの程度か？
• RQ3 構造的変換を用いて Reservoir Computing を高速化しつつ、予測性能を維持できるか？
• RQ4 Recurrent Kernels と Structured Reservoir Computing の計算複雑性とメモリ使用量は、標準的な RC と比べてどの程度か？
• RQ5 Structured Reservoir Computing は、精度を損なわず、かつメモリフットプリントを増大させることなく、非常に大規模なリザボアサイズにスケーリングできるか？

主な発見

• 本稿は、N が大きい極限において、Reservoir Computing が O(1/√N) の収束速度で Recurrent Kernel に収束することを証明し、さまざまな活性化関数において数値的にも検証された。
• Recurrent Kernels は、カオス的時系列（Kuramoto-Sivashinsky）において競争力ある予測精度を達成し、中程度のデータサイズでは計算効率が高く、N=1,948 の場合に前方伝搬時間が最小0.7秒まで短縮された。
• SRC はリザボアサイズが 10^5 までにわたり、前方伝搬時間がほぼ一定に保たれ、N=32,668 の場合に約3.6秒で実行可能であり、大規模な N では従来の RC がメモリエラーを発生させるのと対照的である。
• SRC は従来の RC よりも顕著にメモリ効率が良く、大規模なリザボアサイズでも GPU メモリオーバーフローを回避でき、速度とスケーラビリティにおいて RC を上回った。
• 大規模な学習集合（n > 10k）では、Recurrent Kernels の予測は依然として遅く、カーネル行列演算がボトルネックとなっているが、SRC は前方伝搬が高速に保たれた。
• RC、RK、SRC のすべての手法が、大次元の領域において類似した性能に収束することを確認し、SRC がスケールにおいて RK 限界を効果的に近似していることを裏付けた。