[论文解读] Deep Echo State Network (DeepESN): A Brief Survey

Claudio Gallicchio, Alessio Micheli|arXiv (Cornell University)|Dec 12, 2017

Neural Networks and Reservoir Computing参考文献 46被引用 68

一句话总结

本综述总结了 DeepESN 模型、其动力学，以及深度水库计算在时序数据中的理论、设计和应用的进展。

ABSTRACT

The study of deep recurrent neural networks (RNNs) and, in particular, of deep Reservoir Computing (RC) is gaining an increasing research attention in the neural networks community. The recently introduced Deep Echo State Network (DeepESN) model opened the way to an extremely efficient approach for designing deep neural networks for temporal data. At the same time, the study of DeepESNs allowed to shed light on the intrinsic properties of state dynamics developed by hierarchical compositions of recurrent layers, i.e. on the bias of depth in RNNs architectural design. In this paper, we summarize the advancements in the development, analysis and applications of DeepESNs.

研究动机与目标

• 在储备计算框架下，激发对深度递归结构的研究。
• 分析分层如何影响 DeepESN 的状态动态和多时间尺度表示。
• 评估如 Echo State Property 之类的深度储备的理论条件。
• 探索自动化设计见解以及在真实世界时序任务中的实际应用。
• 综述扩展到结构化数据域及图/树过程。

提出的方法

• 描述具有一系列递归层和漏积分单元的 DeepESN 架构。
• 解释强制分层且受限的连接性及其对信息流的影响。
• 给出通常通过闭式解方法从全局储层状态训练的线性读出层的概要。
• 总结深度储层中 ESP、稳定性和Lyapunov 指数的理论分析。
• 讨论自动设计方法，如通过动力学的频谱分析来选择层数。
• 回顾对 DeepTESN 和 FDGNN 在树和图上的扩展。

实验结果

研究问题

• RQ1 在不依赖学习的前提下，分层在RNN中的固有体系结构效应是什么？
• RQ2 堆叠递归层如何影响多时间尺度的表示和时序处理？
• RQ3 能否利用储存计算中的深度来设计高效训练的深层递归模型？
• RQ4 如何将 DeepESN 动力学的见解用于深度递归体系结构的自动设计？
• RQ5 DeepRC 在结构化数据域如树和图中的扩展是什么？

主要发现

• 分层的储层架构产生时序数据的分层、多时间尺度表示。
• DeepESN 动力学在固有频率分离方面表现出高层关注高频内容，即使在线性设置中也是如此。
• Echo State Property 已被扩展到深度储层，为自主运行提供理论保证。
• 分层倾向于使网络动力学接近混沌边缘，从而影响稳定性和计算。
• 使用动态频率分析的自动设计方法可以根据输入特征定制层数，从而提高效率。
• 如 DeepTESN 和 FDGNN 等扩展显示 DeepRC 在树和图上的适用性，具有竞争力的性能和训练效率。