[論文レビュー] Deep-ESN: A Multiple Projection-encoding Hierarchical Reservoir Computing Framework

Qianli Ma, Lifeng Shen+1 more|arXiv (Cornell University)|Nov 13, 2017

Neural Networks and Reservoir Computing参考文献 34被引用数 33

ひとこと要約

本稿では、時間系列のマルチスケールダイナミクスを捉えるために、複数のプロジェクションエンコーディング層を用いた階層的リザボア計算フレームワークであるDeep-ESNを提案する。標準的なESNや先行する階層的モデルに比べ、非線形性が強く、時間的構造が複雑な混沌とした時間系列や実世界の時間系列において、相関性を低減し、性能を向上させる。

ABSTRACT

As an efficient recurrent neural network (RNN) model, reservoir computing (RC) models, such as Echo State Networks, have attracted widespread attention in the last decade. However, while they have had great success with time series data [1], [2], many time series have a multiscale structure, which a single-hidden-layer RC model may have difficulty capturing. In this paper, we propose a novel hierarchical reservoir computing framework we call Deep Echo State Networks (Deep-ESNs). The most distinctive feature of a Deep-ESN is its ability to deal with time series through hierarchical projections. Specifically, when an input time series is projected into the high-dimensional echo-state space of a reservoir, a subsequent encoding layer (e.g., a PCA, autoencoder, or a random projection) can project the echo-state representations into a lower-dimensional space. These low-dimensional representations can then be processed by another ESN. By using projection layers and encoding layers alternately in the hierarchical framework, a Deep-ESN can not only attenuate the effects of the collinearity problem in ESNs, but also fully take advantage of the temporal kernel property of ESNs to explore multiscale dynamics of time series. To fuse the multiscale representations obtained by each reservoir, we add connections from each encoding layer to the last output layer. Theoretical analyses prove that stability of a Deep-ESN is guaranteed by the echo state property (ESP), and the time complexity is equivalent to a conventional ESN. Experimental results on some artificial and real world time series demonstrate that Deep-ESNs can capture multiscale dynamics, and outperform both standard ESNs and previous hierarchical ESN-based models.

研究の動機と目的

• 実世界の時間系列に共通するマルチスケール時間的ダイナミクスを捉えることが難しい単層型エコー状態ネットワーク（ESN）の限界を解消すること。
• 重複したリザボア表現に起因する性能劣化を引き起こす、深層ESNにおける相関性問題を克服すること。
• ESNの学習の簡便性を保ちつつ、深層的・マルチスケール特徴抽出を可能にする安定的で計算効率の良い階層的フレームワークを設計すること。
• 各エンコーディング層から最終出力層へのスキップ接続を導入し、マルチスケール表現の有効な統合を可能にすること。
• 教師なしエンコーダーが、深層リザボアアーキテクチャにおける表現の重複を制御し、モデルの一般化性能を向上させる上で不可欠であることを示すこと。

提案手法

• 入力時間系列をリザボア層を通じて高次元のエコーステート空間に写像する階層的リザボアフレームワークを構築する。
• 各リザボア層の後に、教師なしエンコーディング層（主成分分析（PCA）、オートエンコーダー、ランダムプロジェクション）を適用し、高次元状態を低次元で非相関な表現に写像する。
• 得られた符号化表現を次のリザボア層に供給し、異なる時間スケールの特徴を処理する。
• 各エンコーディング層から最終出力層へのスキップ接続を導入し、マルチスケール情報の統合を促進し、予測性能を向上させる。
• エコーステート性（ESP）が階層構造を経ても保たれることを証明することで安定性を確保し、標準的なESNと同等の時間計算量を維持する。
• 出力重みの学習に線形回帰を用いることで、深層構造を有しても従来のESNと同等の計算効率を保つ。

実験結果

リサーチクエスチョン

• RQ1 階層的リザボア計算フレームワークは、標準的なESNがモデル化に失敗するマルチスケールダイナミクスを効果的に捉えることができるか？
• RQ2 主成分分析（PCA）、オートエンコーダー、ランダムプロジェクションといった異なるエンコーディング手法は、深層ESNにおける表現品質と相関性にどのように影響するか？
• RQ3 提案されたDeep-ESNフレームワークは、標準的なESNが持つエコーステート性と計算効率を維持しながら、より深い、より表現力のあるアーキテクチャを可能にするか？
• RQ4 ネットワークの深さと構造は、マルチスケール複雑性の度合いが異なる時間系列における性能にどのように影響するか？
• RQ5 中間エンコーディング層からのスキップ接続は、最終リザボア層のみに依存する場合と比較して、予測精度をどの程度向上させるか？

主な発見

• Deep-ESNは、人工的な混沌とした時間系列（Mackey-Glass、NARMA）および実世界のデータセット（Sunspots、Temperature）において、標準的なESNや先行する階層的ESNモデル（例：MESM）を上回る性能を示した。
• PCAをエンコーダーとして用いることで、リザボア表現の条件数が顕著に低下し、直接リザボアをスタックする場合と比較して相関性の抑制が有効に行われた。
• ランダムプロジェクションエンコーダーは、深層部で表現距離が増加する場合があり、ノイズの増幅を示唆しており、エンコーダー選択の重要性を強調している。
• モデルは摂動に対する長期記憶を示し、最終層が最も持続的な反応を示しており、効果的な時間的情報保持が実現されている。
• 適切に構造化されていないと、深層アーキテクチャは性能を劣化させるため、深さは適切なハイパーパramータチューニング（交差検証を用いて）が不可欠である。
• モデルの性能は入力のマルチスケール構造に強く依存しており、Mackey-Glassのような高度にマルチスケールなデータにはより深いネットワークが有効である一方、Sunspots や Temperature のような単純な系列には浅いネットワークで十分である。