[論文レビュー] Product Reservoir Computing: Time-Series Computation with Multiplicative Neurons

Alireza Goudarzi, Alireza Shabani+1 more|arXiv (Cornell University)|Feb 3, 2015

Neural Networks and Reservoir Computing参考文献 27被引用数 4

ひとこと要約

本稿では、従来のtanhニューロンの代わりに乗法的（積）ニューロンを用いることで、非線形時系列計算の性能を向上させる、新しいリザボア計算アーキテクチャ「Product Reservoir Computing（PRC）」を提案する。この手法は、効率的なダイナミクスシミュレーションのための対数の指数関数的トリックを活用し、Mackey-Glass や Lorenz システムといった混沌的時系列ベンチマークにおいて、標準的な ESN と同等の性能を示す。同時に、高次統計的相互作用のおかげで、数学的取り扱いやすさと強い非線形能力を兼ね備えている。

ABSTRACT

Echo state networks (ESN), a type of reservoir computing (RC) architecture, are efficient and accurate artificial neural systems for time series processing and learning. An ESN consists of a core of recurrent neural networks, called a reservoir, with a small number of tunable parameters to generate a high-dimensional representation of an input, and a readout layer which is easily trained using regression to produce a desired output from the reservoir states. Certain computational tasks involve real-time calculation of high-order time correlations, which requires nonlinear transformation either in the reservoir or the readout layer. Traditional ESN employs a reservoir with sigmoid or tanh function neurons. In contrast, some types of biological neurons obey response curves that can be described as a product unit rather than a sum and threshold. Inspired by this class of neurons, we introduce a RC architecture with a reservoir of product nodes for time series computation. We find that the product RC shows many properties of standard ESN such as short-term memory and nonlinear capacity. On standard benchmarks for chaotic prediction tasks, the product RC maintains the performance of a standard nonlinear ESN while being more amenable to mathematical analysis. Our study provides evidence that such networks are powerful in highly nonlinear tasks owing to high-order statistics generated by the recurrent product node reservoir.

研究の動機と目的

• 生物学的シナプス相互作用にインspiredされた乗法的ニューロンが、リザボア計算における標準的な活性化関数の代替として有効であるかどうかを検討すること。
• 和としきい値のニューロンの代わりに積ノードを用いることで、計算効率的かつ数学的に解析可能なリザボアアーキテクチャを開発すること。
• 特に混沌的システムを対象として、積ベースのリザボアが標準的な非線形時系列予測タスクでどの程度の性能を示すかを評価すること。
• 従来のtanhニューロンを用いた通常のESNと比較して、積リザボアの安定性と計算能力を調査すること。

提案手法

• リザボア内の標準的なtanh活性化関数を、入力の重み付き積を計算する積ニューロンモデルに置き換える。
• 標準的な行列演算を用いて効率的に積ノードのダイナミクスをシミュレートするため、対数の指数関数的変換を採用する。
• エコー状態性の証明を適応し、適切なパrameter設定のもとで、積リザボアが安定性と初期条件への感度の低さを維持することを示す。
• リザボア状態を所望の出力にマップするため、回帰により訓練された線形リードアウト層を用い、コアとなるESNの学習効率を保つ。
• スペクトル半径と入力重みスケーリングを主なハイパーパrameterとして用い、ベンチマークタスク全体にわたる体系的なチューニングを実施する。
• 標準ベンチマーク（Mackey-GlassおよびLorenzシステム）にこの手法を適用し、正規化された入力と、正規化平均二乗誤差（NMSE）を用いた多段予測による評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 tanhニューロンを用いた標準的なESNと同等の性能を達成できるか、積ニューロンから構成されるリザボアが非線形時系列予測タスクで実現可能か。
• RQ2 乗法的ニューロンの使用が、特に混沌的システムにおけるリザボアの安定性とダイナミカルな挙動にどのような影響を与えるか。
• RQ3 積リザボアが高次統計的モーメントをどの程度活用することで、非線形計算の性能を向上させているか。
• RQ4 ハイパーパrameter（スペクトル半径と入力重み）が、積リザボアと標準ESNの両者において性能と安定性に与える影響はどの程度か。

主な発見

• Mackey-GlassおよびLorenzの混沌的時系列予測タスクの両方において、積リザボアはtanhニューロンを用いた標準ESNと同等の性能を達成した。
• 両ベンチマークにおいて、最適なパフォーマンスは入力重みω = 0.1およびスペクトル半径λ = 0.8で達成され、類似した最適パラメータ領域が確認された。
• 積RCはtanh-ESNと比較して、パrameter変更に対してより高い感受性を示した。特にλを増加させると、積RCのダイナミクスは不安定化するが、tanh-ESNは依然として安定している。
• Mackey-Glassタスクでは、λを低下させると、積RCでは誤差が4桁減少するのに対し、tanh-ESNでは5桁減少する。これは、積バージョンがより感受性が高いことを示している。
• Lorenzシステムでは、高めのωとλが積RCを不安定化させ、完全な性能の崩壊を引き起こしたが、tanh-ESNは安定かつ一貫した性能を維持した。
• 多段予測の結果、τ = 1から10の各ステップにおいて、積RCはtanh-ESNと同等のNMSE性能を維持しており、長期的な時系列計算能力を有していることが確認された。