[論文レビュー] Deep Echo State Network (DeepESN): A Brief Survey

Claudio Gallicchio, Alessio Micheli|arXiv (Cornell University)|Dec 12, 2017

Neural Networks and Reservoir Computing参考文献 46被引用数 68

ひとこと要約

この調査は、DeepESNモデル、そのダイナミクス、および深層リザーバ計算の時系列データにおける理論・設計・応用の進展を要約する。

ABSTRACT

The study of deep recurrent neural networks (RNNs) and, in particular, of deep Reservoir Computing (RC) is gaining an increasing research attention in the neural networks community. The recently introduced Deep Echo State Network (DeepESN) model opened the way to an extremely efficient approach for designing deep neural networks for temporal data. At the same time, the study of DeepESNs allowed to shed light on the intrinsic properties of state dynamics developed by hierarchical compositions of recurrent layers, i.e. on the bias of depth in RNNs architectural design. In this paper, we summarize the advancements in the development, analysis and applications of DeepESNs.

研究の動機と目的

• リザーバ計算のフレームワーク内で深層再帰アーキテクチャの研究の動機づけ。
• DeepESNにおける層化が状態ダイナミクスとマルチタイムスケール表現に与える影響を分析する。
• 深いリザーバに対するEcho State Property のような理論的条件を評価する。
• 自動設計の洞察と実世界の時系列タスクにおける実用的応用を探る。
• 構造化データ領域およびグラフ/木プロセスへの拡張を概観する。

提案手法

• 再起的層のスタックとリーキー積分ユニットを備えたDeepESNアーキテクチャを説明する。
• 層化を強制する制約付き接続と情報の流れへの影響を説明する。
• グローバルリザーバー状態から閉形式法でトレーニングされる典型的な線形リードアウトを概説する。
• 深いリザーバにおけるESP、安定性、リャプノフ指数の理論分析を要約する。
• 動的特性の周波数分析を通じた層数選択などの自動設計手法について論じる。
• 木構造とグラフに対するDeepTESNおよびFDGNNへの拡張をレビューする。

実験結果

リサーチクエスチョン

• RQ1 学習とは独立してRNNにおける層化の内在的な構造的効果は何か？
• RQ2 再帰層を積み重ねることでマルチタイムスケール表現と時系列処理にどう影響するか？
• RQ3 リザーバ計算における深さを活用して効率的に訓練された深層再帰モデルを設計できるか？
• RQ4 DeepESNのダイナミクスから得られる洞察を DeepERc?の自動設計にどう活かせるか？
• RQ5 DeepRCを木構造やグラフのような構造化データ領域へ拡張するにはどうなるか？

主な発見

• 層状リザーバーアーキテクチャは時系列データの階層的なマルチタイムスケール表現を生み出す。
• DeepESNのダイナミクスは内在的な周波数分離を示し、上位層が高周波成分に焦点を当てる、線形系でさえ。
• Echo State Property は深いリザーバにも拡張され、自律運用に理論的保証を提供する。
• 層化はネットワークのダイナミクスをカオスの縁近くに位置づけ、安定性と計算に影響を与える。
• 動的周波数分析を用いた自動設計手法は、入力特性に合わせて層の数を調整し、効率を向上させる。
• DeepTESNおよびFDGNNのような拡張は、木やグラフへのDeepRCの適用性を競争力のある性能と訓練効率で示している。