[論文レビュー] Bidirectional deep-readout echo state networks

Filippo Maria Bianchi, Simone Scardapane+2 more|arXiv (Cornell University)|Nov 17, 2017

Neural Networks and Reservoir Computing被引用数 7

ひとこと要約

本稿では、多変量時系列分類のためのハイブリッドアーキテクチャとして、双方向で未学習のリザボアと深層順方向ネットワークを組み合わせたBidirectional Deep-Readout Echo State Networks (BDESN)を提案する。双方向リザボアにより前向きおよび後向きの時系列依存性を捉え、深層分類の前にPCAを適用して次元削減を行うことで、完全に学習されたRNN（例：GRU）と同等の性能を達成しつつ、GRUの70倍速く、標準的なESNよりも顕著に高速に学習可能である。

ABSTRACT

We propose a deep architecture for the classification of multivariate time series. By means of a recurrent and untrained reservoir we generate a vectorial representation that embeds temporal relationships in the data. To improve the memorization capability, we implement a bidirectional reservoir, whose last state captures also past dependencies in the input. We apply dimensionality reduction to the final reservoir states to obtain compressed fixed size representations of the time series. These are subsequently fed into a deep feedforward network trained to perform the final classification. We test our architecture on benchmark datasets and on a real-world use-case of blood samples classification. Results show that our method performs better than a standard echo state network and, at the same time, achieves results comparable to a fully-trained recurrent network, but with a faster training.

研究の動機と目的

• 多変量時系列における長距離時系列依存性を捉える際の標準的Echo State Networks (ESNs) の短期記憶制限を解消すること。
• 双方向リザボアと深層教師付きリードアウトを統合することで、ESNの分類精度を向上させつつ、学習速度を損なわないようにすること。
• リザボアコンピューティングの効率性とディープラーニングの表現力の両方を組み合わせたスケーラブルなアーキテクチャの開発。
• ベンチマークデータセットおよび実世界の医療時系列分類タスク（術後感染予測）において、競争力のある性能を示すこと。

提案手法

• 入力時系列を前向きおよび後向きに処理する双方向リザボアを用い、2つの高次元状態表現を生成する。
• 最終的な前向きおよび後向きリザボア状態を連結し、過去および未来の文脈を捉える1つの固定サイズの表現を生成する。
• 連結されたリザボア状態の次元を低減するために主成分分析（PCA）を適用し、計算効率を向上させるとともに過学習を軽減する。
• 圧縮された表現を、確率的勾配降下法で学習する深層多層パーセプトロン（MLP）に供給し、最終的な分類を実行する。
• 学習中にリザボア重みを固定することで、時間方向の誤差逆伝播を回避し、高速な学習を実現する。
• 2段階の学習プロセスを採用：まずリザボアを事前学習（ランダム初期化）、次にリザボア特徴量上で深層MLPリードアウトを微調整する。

実験結果

リサーチクエスチョン

• RQ1 双方向リザボアは、多変量時系列における標準的Echo State Networksの記憶力および分類性能を向上させることができるか？
• RQ2 ESNの線形リードアウトを深層順方向ネットワークに置き換えることで、分類精度を向上させつつも、高速な学習を維持できるか？
• RQ3 ベンチマーク時系列データセットにおいて、標準的ESNおよび完全に学習されたRNN（例：GRU）と比較して、BDESNアーキテクチャの精度および学習速度はどのように異なるか？
• RQ4 BDESNモデルは、術後血液サンプルモニタリングのような実世界の不均衡な医療時系列データに、効果的に一般化できるか？

主な発見

• Character Trajectoryデータセットにおいて、BDESNは標準的ESNの43.4％から30ポイント以上向上し、77.6％の精度を達成した。
• Japanese Vowelsデータセットでは、BDESNはF1スコア94.72％を達成し、ESN（85.8％）を上回り、GRU（94.45％）と同等の性能を示したが、GRUに比べ70倍速い学習速度を達成した。
• 血液サンプルデータセットでは、BDESNはF1スコア0.761を達成し、ESN（0.734）を上回り、GRU（0.779）に近い性能を示した。学習時間は1.87分であり、GRUの10.54分、ESNの0.01分に比べて著しく短い。
• Japanese Vowelsデータセットにおける交差エントロピー損失曲線から、BDESNの学習損失は最適化の過程でより安定的かつ一貫して低く保たれていることが示された。
• PCAを用いた次元削減により、モデルの複雑さが低減され、特徴の判別力を持つ時系列特徴を保持したまま効率的な学習が可能になった。
• 双方向リザボアは、特に長距離時系列依存性を必要とするタスクにおいて、表現品質を顕著に向上させた。これは、Ch.Traj. や ECG のようなデータセットにおける優れた性能によって裏付けられている。