[論文レビュー] A Comparative Study of Reservoir Computing for Temporal Signal Processing

Alireza Goudarzi, Peter Banda+3 more|arXiv (Cornell University)|Jan 10, 2014

Neural Networks and Reservoir Computing参考文献 51被引用数 23

ひとこと要約

本論文は、Hénon写像、NARMA10、NARMA20というベンチマークタスクを用いて、エコー状態ネットワーク（ESNs）、タップドディレイライン（DL）、非線形自己回帰外生変数（NARX）ネットワークの3つの手法を時系列信号処理において比較している。ESNsは記憶容量が低いにもかかわらず一般化性能が優れていることが示され、リザボアが単なる記憶保持を超えた非自明な計算を実行していることを裏付けている。

ABSTRACT

Reservoir computing (RC) is a novel approach to time series prediction using recurrent neural networks. In RC, an input signal perturbs the intrinsic dynamics of a medium called a reservoir. A readout layer is then trained to reconstruct a target output from the reservoir's state. The multitude of RC architectures and evaluation metrics poses a challenge to both practitioners and theorists who study the task-solving performance and computational power of RC. In addition, in contrast to traditional computation models, the reservoir is a dynamical system in which computation and memory are inseparable, and therefore hard to analyze. Here, we compare echo state networks (ESN), a popular RC architecture, with tapped-delay lines (DL) and nonlinear autoregressive exogenous (NARX) networks, which we use to model systems with limited computation and limited memory respectively. We compare the performance of the three systems while computing three common benchmark time series: H{é}non Map, NARMA10, and NARMA20. We find that the role of the reservoir in the reservoir computing paradigm goes beyond providing a memory of the past inputs. The DL and the NARX network have higher memorization capability, but fall short of the generalization power of the ESN.

研究の動機と目的

• リザボアコンピューティング（RC）を従来の時系列処理手法と体系的に比較し、RCにおける記憶と計算の役割を理解すること。
• ESNsのリザボアが単なる記憶装置として機能するのか、それとも記憶を超えた非自明な計算を実行するのかを評価すること。
• 完全な記憶能力を持つが計算能力に欠けるタップドディレイライン（DL）と、記憶能力は限定的だが計算能力が高いNARXネットワークという2つのベースラインモデルとESNsを比較すること。
• 3つの代表的な時系列タスクを用いて、RNMSE、NRMSE、SAMPといった複数の誤差指標を用いた標準化された性能比較を提供すること。
• リザボアコンピューティングシステムにおけるトポロジー、記憶、計算、ダイナミクスの分析の基盤を構築すること。

提案手法

• 本研究は、完全に接続されたリザボアを備えたエコー状態ネットワーク（ESNs）、完全な記憶能力を有するベースラインとしてのタップドディレイライン（DL）、および記憶能力は限定的だが計算能力が高いベースラインとしてのNARXネットワークの3つのアーキテクチャを評価する。
• 各モデルについて、リザボア状態を用いてリッジ回帰により線形リードアウト層を学習させ、ベンチマーク時系列からのターゲット出力を予測する。
• 3つの誤差指標を用いて性能を評価する：相対正規化平均二乗誤差（RNMSE）、正規化平均二乗誤差（NRMSE）、対称平均絶対パcent誤差（SAMP）。
• 3つの標準的な時系列タスクを用いる：カオス的ダイナミクスを示すHénon写像、および10次および20次NARMA時系列（非線形的で高次のダイナミクス）。
• 各設定について10回の繰り返し実験を行い、誤差指標の平均値と標準偏差を算出し、統計的信頼性を確保する。
• リザボアサイズ（N）を5から2000に変化させ、さまざまなリザボア次元におけるスケーラビリティと一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ESNのリザボアは、過去の入力を記憶するための記憶装置としてのみ機能するのか、それとも記憶を超えた非自明な計算を実行するのか？
• RQ2 完全な記憶能力を持つシステム（DL）と、計算能力は高いが記憶能力が限定的なシステム（NARX）と比較して、ESNsの一般化性能はどの程度優れているのか？
• RQ3 リザボアの動的特性（たとえば短期記憶や位相空間への感受性）が、その優れた一般化性能にどの程度寄与しているのか？
• RQ4 RNMSE、NRMSE、SAMPといった異なる誤差指標は、さまざまなリザボアサイズとタスクにおいて、ESNs、DL、NARXの性能をどのように順位付けするのか？
• RQ5 ESNsの性能優位性は、非線形ダイナミクスを介して入力を高次元特徴空間に写像する能力に起因しているのか？

主な発見

• ESNsはNARMA10およびNARMA20タスクにおいて、DLおよびNARXを著しく上回る一般化性能を示した。テスト時のSAMP誤差はそれぞれ95.21および100.00であったが、ESNsは57.86および60.98を達成しており、記憶容量が低いにもかかわらず一般化性能が優れていることが示された。
• DLモデルは完全な記憶能力を持つにもかかわらず、NARMA10およびNARMA20では一般化に失敗し、テスト時のSAMP誤差がそれぞれ95.21および100.00に達した。これは、記憶能力だけでは複雑な時系列予測に不十分であることを示している。
• NARXネットワークは高い計算能力を備えているが、NARMA20ではESNsに劣り、テスト時のSAMP誤差が60.98であったのに対し、ESNsは57.86を記録した。これは、計算能力だけでは性能が向上しないことを示している。
• Hénon写像では、すべてのモデルが学習では良好に動作したが、ESNsは最も安定した一般化性能を示した。N=100のとき、テスト時のSAMP誤差は0.3263であり、NARX（0.3263）およびDL（0.3263）を上回った。これはカオス的ダイナミクスに対しても頑健であることを示している。
• ESNsの性能はリザボアサイズの増加に伴い向上し、N=2000でNARMA10およびNARMA20の学習誤差がほぼゼロに近づいたが、テスト誤差は低く保たれた（SAMP：57.86および60.98）。これは、効果的な一般化が実現されていることを示している。
• 本研究は、ESNsのリザボアが非自明な計算を実行していることを確認した。DLは記憶能力が高く、NARXは計算能力が高いにもかかわらず、ESNsが一般化性能で優れている。これは、リザボアのダイナミクスが記憶や計算単体よりも効果的な特徴抽出を可能にしていることを証明している。