[论文解读] Deep-ESN: A Multiple Projection-encoding Hierarchical Reservoir Computing Framework

Qianli Ma, Lifeng Shen+1 more|arXiv (Cornell University)|Nov 13, 2017

Neural Networks and Reservoir Computing参考文献 34被引用 33

一句话总结

本文提出 Deep-ESN，一种分层回声状态网络（reservoir computing）框架，通过使用多层投影编码层来捕捉时间序列中的多尺度动态特性。通过在无监督编码器（如主成分分析 PCA、自编码器、随机投影）与回声状态网络（reservoir）之间交替使用，该方法降低了表示之间的共线性问题，显著提升了标准 ESN 及先前分层模型的性能，尤其在具有复杂时间结构的混沌时间序列与真实世界时间序列上表现更优。

ABSTRACT

As an efficient recurrent neural network (RNN) model, reservoir computing (RC) models, such as Echo State Networks, have attracted widespread attention in the last decade. However, while they have had great success with time series data [1], [2], many time series have a multiscale structure, which a single-hidden-layer RC model may have difficulty capturing. In this paper, we propose a novel hierarchical reservoir computing framework we call Deep Echo State Networks (Deep-ESNs). The most distinctive feature of a Deep-ESN is its ability to deal with time series through hierarchical projections. Specifically, when an input time series is projected into the high-dimensional echo-state space of a reservoir, a subsequent encoding layer (e.g., a PCA, autoencoder, or a random projection) can project the echo-state representations into a lower-dimensional space. These low-dimensional representations can then be processed by another ESN. By using projection layers and encoding layers alternately in the hierarchical framework, a Deep-ESN can not only attenuate the effects of the collinearity problem in ESNs, but also fully take advantage of the temporal kernel property of ESNs to explore multiscale dynamics of time series. To fuse the multiscale representations obtained by each reservoir, we add connections from each encoding layer to the last output layer. Theoretical analyses prove that stability of a Deep-ESN is guaranteed by the echo state property (ESP), and the time complexity is equivalent to a conventional ESN. Experimental results on some artificial and real world time series demonstrate that Deep-ESNs can capture multiscale dynamics, and outperform both standard ESNs and previous hierarchical ESN-based models.

研究动机与目标

• 解决单层回声状态网络（Echo State Networks, ESNs）在捕捉真实世界时间序列中常见的多尺度时间动态特性方面的局限性。
• 克服深度 ESN 中因冗余的回声状态表示导致的共线性问题，从而降低性能下降。
• 设计一种稳定且计算高效的分层框架，保留 ESN 的训练简便性，同时支持深层、多尺度的特征学习。
• 通过从每一层编码层到最终输出层的跳跃连接（skip connections），实现多尺度表示的有效融合。
• 证明无监督编码器在控制表示冗余性、提升深层回声状态架构泛化能力方面具有关键作用。

提出的方法

• 构建一个分层回声状态网络框架，其中输入时间序列通过回声状态层投影到高维回声状态空间。
• 在每一层回声状态之后应用无监督编码层（如主成分分析 PCA、自编码器或随机投影），将高维状态映射到低维、去相关的表示。
• 将编码后的表示送入后续的回声状态层，以处理不同时间尺度的特征。
• 引入从每一层编码层到最终输出层的跳跃连接，以融合多尺度信息，提升预测性能。
• 通过证明回声状态性质（Echo State Property, ESP）在分层结构中得以保持，确保模型稳定性，同时维持与标准 ESN 相同的时间复杂度。
• 使用线性回归训练输出权重，尽管网络结构更深，仍保持传统 ESN 的计算效率。

实验结果

研究问题

• RQ1 分层回声状态网络框架是否能有效捕捉标准 ESN 无法建模的时间序列多尺度动态特性？
• RQ2 不同编码技术（主成分分析 PCA、自编码器、随机投影）对深度 ESN 中表示质量与共线性的影响如何？
• RQ3 所提出的 Deep-ESN 框架是否在保持标准 ESN 的回声状态性质与计算效率的同时，支持更深、更具表达力的架构？
• RQ4 网络的深度与结构如何影响在具有不同多尺度复杂度的时间序列上的性能表现？
• RQ5 与仅依赖最终回声状态层相比，中间编码层的跳跃连接在多大程度上提升了预测准确性？

主要发现

• Deep-ESN 在人工混沌时间序列（如 Mackey-Glass、NARMA）和真实世界数据集（如太阳黑子、气温）上，均优于标准 ESN 及先前的分层 ESN 模型（如 MESM）。
• 使用 PCA 作为编码器显著降低了回声状态表示的条件数，表明其在抑制共线性方面效果显著，优于直接堆叠回声状态层。
• 随机投影编码器在某些情况下会增加深层表示之间的距离，提示可能存在噪声放大现象，凸显了编码器选择的重要性。
• 该模型对扰动表现出长期记忆能力，最终层的响应最为持久，表明其具备有效的时序信息保留能力。
• 仅当网络结构合理时，更深的架构才能提升性能；过度加深反而会降低结果，强调了需通过交叉验证进行超参数调优。
• 模型性能高度依赖于输入数据的多尺度结构：对于高度多尺度的数据（如 Mackey-Glass），更深网络更有效；而对于结构较简单的序列（如太阳黑子、气温），浅层网络已足够。